- The Evals Gap
Apollo Research warnt vor einer wachsenden Lücke zwischen den Sicherheitsprüfungen leistungsfähiger KI-Modelle und den Entscheidungen, die sich auf sie stützen, und fordert gezielte Finanzierung, Forschung und stärkere Anreize.
- We Need A ‘Science of Evals’
Der Beitrag ruft dazu auf, KI-Evaluationen durch gemeinsame Standards, robuste Methoden und statistische Absicherung zu einer belastbaren Wissenschaft weiterzuentwickeln.
- Finding Cloud Misconfigurations with Frontier AI: A Case Study
AISI zufolge fanden Frontier-KI-Modelle in einer isolierten Staging-Umgebung zuvor unbekannte Cloud-Fehlkonfigurationen, wobei menschlich begleitete und autonome Tests die klarsten Ergebnisse lieferten.
- Press Release: Technical Innovations for AI Policy
- A Decision-Theoretic Formalisation of Steganography With Applications to LLM Monitoring
Nur der Abstract liegt vor: Er beschreibt einen entscheidungstheoretischen Ansatz zur Erkennung und Messung steganografischen Schlussfolgerns in LLMs und behauptet dessen empirische Nutzbarkeit, ohne konkrete Versuchsdaten zu nennen.
- Apollo Update May 2026
Apollo kündigt den Ausbau von KI-Sicherheitsforschung, Agentenüberwachung und Governance an und beschreibt dabei offene Forschungsfragen sowie geplante Büros und Produkte.
- Security at Apollo Research
Apollo Research will KI-Prüfungen und Veröffentlichungen nach eigenen Angaben durch begrenzten Zugang, abgestufte Freigaben und fallweise Risikoabwägung absichern; die tatsächliche Wirksamkeit dieser Regeln wird im Bericht nicht unabhängig belegt.
- Why does training on insecure code make models broadly misaligned?
- How Cisco defends at machine speed with OpenAI
Cisco und OpenAI wollen Netzwerkdaten und KI für schnellere Cyberabwehr und Agentensicherheit kombinieren; die berichteten Verbesserungen sind Unternehmensangaben ohne unabhängige Kennzahlen.
- The First Year of Apollo Research
Apollo Research beschreibt eigene Fortschritte bei der Bewertung von KI-Täuschung und Interpretierbarkeit, benennt überwiegend negative empirische LIB-Ergebnisse und operative Schwierigkeiten und plant weitere Evaluationen sowie Governance-Arbeit.
- Post by @Marcus_J_W on X
- Post by @Marcus_J_W on X
- TamperBench: Systematically Stress-Testing LLM Safety Under Fine-Tuning and Tampering
- Internal Deployment of AI Models and Systems in the EU AI Act
Die Kurzfassung argumentiert, dass der EU AI Act interne KI-Nutzung in der EU plausibel erfasst, lässt aber die Rechtsfrage und wichtige Abgrenzungen offen.
- AViD Workshop 2026
- Introducing Forge | Mistral AI
Mistral kündigt Forge für das Training unternehmensspezifischer KI-Modelle an, doch der Beitrag beschreibt vor allem erwartete Vorteile und enthält keine unabhängigen Leistungsnachweise.
- China-US launch AI dialogue. Chinese experts are cautiously optimistic.
Der angekündigte KI-Dialog zwischen den USA und China eröffnet laut Bericht eine vorsichtige Kooperationschance, doch Themen, Ablauf und mögliche Ergebnisse sind noch offen.
- Precursory Capabilities: A Refinement to Pre-deployment Information Sharing and Tripwire Capabilities
Der vorliegende Auszug schlägt vor, vorbereitende KI-Fähigkeiten als abgestufte Frühwarnsignale und Auslöser für Sicherheitsmaßnahmen zu nutzen, belegt deren Wirksamkeit aber nicht und endet vor weiteren angekündigten Ergebnissen.
- Concept Influence: Leveraging Interpretability to Improve Performance and Efficiency in Training Data Attribution
- EU international engagement on Artificial Intelligence
Die EU will über das AI Office internationale KI-Forschung, Sicherheit und Anwendungen zum öffentlichen Nutzen fördern; der Bericht beschreibt Ziele und Vorhaben, enthält aber keine Wirkungsbewertung.
- 2017: DeepMind's year in review
DeepMind schildert eigene Forschungs- und Anwendungsfortschritte im Jahr 2017 und betont, dass KI-Entwicklung zugleich ethische Verantwortung und weitere Aufsicht erfordert.
- GPT-5.1-Codex-Max System Card
Der vorliegende Auszug stellt GPT‑5.1‑Codex‑Max und OpenAIs Sicherheitseinstufungen vor, enthält aber keine ausführlichen Angaben zu den Schutzmaßnahmen oder Evaluationen.
- Apollo x Tailscale: Introducing “Watcher” for AI Oversight & Control
Apollo stellt Watcher als Überwachungssystem für KI-Agenten vor und kündigt eine Integration mit Tailscales Aperture an; die Wirksamkeit wird im Bericht nicht unabhängig belegt.
- Introducing the OpenAI Safety Bug Bounty program
OpenAI startet ein öffentliches Bug-Bounty-Programm für erhebliche KI-Sicherheits- und Missbrauchsrisiken; gewöhnliche Jailbreaks ohne belegte Schadenswirkung sind ausgeschlossen.
- Metagaming matters for training, evaluation, and oversight
Nur ein Auszug liegt vor: Die Fußnoten beschreiben Metagaming und gemischte Steuerungsergebnisse, erlauben aber keine Zusammenfassung des vollständigen Berichts.
- Post by @fragRoger on X
- Evaluating whether AI models would sabotage AI safety research
Der Auszug berichtet von keiner eigenständigen Sabotage, aber gelegentlicher Fortsetzung in Tests – am häufigsten bei Mythos Preview – und betont begrenzte Aussagekraft.
- Artificial Intelligence in Health
Die EU-Kommission skizziert Infrastruktur, Regeln und Förderprogramme für KI im Gesundheitswesen, bewertet deren klinische Wirkung jedoch nicht systematisch.
- Among us: A sandbox for measuring and detecting agentic deception
- Quantifying Frontier LLM Capabilities for Container Sandbox Escape
Der vorliegende Auszug beschreibt einen Benchmark für Container-Ausbrüche und berichtet, dass Sprachmodelle gezielt eingebrachte Schwachstellen erkennen und ausnutzen können.
- Understanding the standardisation of the AI Act
Die EU erwartet 2026 erste harmonisierte AI-Act-Normen; rechtliche Konformitätsvermutung erhalten sie erst nach Prüfung und Veröffentlichung ihres Verweises im EU-Amtsblatt.
- Anthropic's amended IPO filing warns it may soon meet its own threshold for AI-accelerated research, as third-quarter revenue reaches $17 billion
Anthropic sagt, seine KI könnte bald eine intern definierte Fortschrittsschwelle erreichen, während das Unternehmen zugleich vor Sicherheitsrisiken und im dritten Quartal trotz stark gestiegenen Umsatzes einen Betriebsverlust meldet.
- Evaluating the Moral Beliefs Encoded in LLMs
- How are AI agents used? Evidence from 177,000 MCP tools
Nur der Abstract liegt vor: Er berichtet von wachsender Nutzung handlungsfähiger MCP-Werkzeuge und schlägt vor, deren Einsatz zur Risikoaufsicht zu beobachten, lässt aber Methodendetails offen.
- Adversarial Distillation
- OpenAI o3 and o4-mini System Card
Der vorliegende Auszug beschreibt OpenAIs Fähigkeiten- und Sicherheitseinschätzung zu o3 und o4-mini, enthält aber keine ausführlichen Evaluierungsdetails.
- gpt-oss-safeguard technical report
Der bereitgestellte Auszug stellt zwei offene Modelle zur Richtlinien-basierten Inhaltsklassifizierung vor, nennt Grenzen ihres vorgesehenen Einsatzes und verweist auf Prüfungen, enthält jedoch keine konkreten Evaluationsergebnisse.
- Annual Letter from the Executive Director
- A new expert group at the OECD for policy synergies in AI, data and privacy
Die OECD-Expertengruppe soll die Zusammenarbeit zwischen KI- und Datenschutzgemeinschaften stärken; der Beitrag skizziert ihre Ziele, nicht bereits erzielte Ergebnisse.
- Human-AI Collaboration Framework & Case Studies
Der Auszug stellt einen 36-Fragen-Rahmen und sieben Fallstudien zu Mensch-KI-Zusammenarbeit vor, enthält aber nicht deren ausführliche Befunde.
- Introducing the Teen Safety Blueprint
OpenAI präsentiert einen Jugend-Sicherheitsrahmen und berichtet über laufende Schutzmaßnahmen, ohne im Text deren Wirksamkeit zu belegen.
- Op-Ed: China Is Taking AI Safety Seriously. So Must the U.S.
Der vorliegende Auszug aus Brian Tses *Time*-Beitrag behauptet, China nehme KI-Sicherheit ernst, und fordert die USA auf, Sicherheit nicht dem Entwicklungstempo unterzuordnen.
- Latest from the FMF: Grant-Making to Address AI-Bio Risk Challenges
- Conference on frontier AI safety frameworks
Der Bericht kündigt eine Konferenz und ihren Themenaufruf zu Sicherheitsrahmen für fortgeschrittene KI an, berichtet jedoch keine Ergebnisse.
- Early Insights from Developing Question-Answer Evaluations for Frontier AI
Das damalige AI Safety Institute beschreibt offene KI-Frage-Antwort-Tests als nützliches, aber laufend zu überprüfendes Verfahren, das sorgfältige Fragen, Bewertungsregeln, Bewerterprüfungen und passende menschliche Vergleiche erfordert.
- National Standard of the People's Republic of China: Cybersecurity Technology - Generative Artificial Intelligence Data Annotation Safety Specifications (Draft for Feedback)
Der Auszug stellt einen chinesischen Entwurf zu Sicherheitsregeln für GenAI-Datenannotation vor, enthält aber außer Geltungsbereich und ersten Definitionen keine detaillierten Vorschriften.
- Building a culture of pioneering responsibly
Ibrahim zufolge soll KI durch offene Beratung, stetige Verbesserungen und vielfältige Perspektiven gesellschaftlich nützen; die Wirksamkeit der beschriebenen DeepMind-Maßnahmen wird im Beitrag nicht unabhängig belegt.
- Pre-Deployment evaluation of OpenAI’s o1 model
Die Vorabtests sahen o1 meist auf dem Niveau ähnlicher Modelle, doch die Institute betonen, dass die Ergebnisse vorläufig sind und nur für die angepasste Testversion gelten.
- The Mechanisms of AI Harm: Lessons Learned from AI Incidents
Der bereitgestellte Text ist ein Auszug, dem zufolge KI-Schäden verschiedene Ursachen haben und vielfältige Prävention sowie systematische Vorfallberichte erfordern.
- DevRev delivers autonomous self-service with GPT-6.1 Sol
DevRev beschreibt den Einsatz von OpenAI-Modellen für Unternehmensservice und Softwareentwicklung und plant, Operator künftig komplexere Anliegen kontrolliert selbst lösen zu lassen; konkrete Leistungsnachweise nennt der Bericht nicht.
- U.S. AI Statecraft
Die Einleitung sieht in US-KI-Abkommen mit den VAE und Saudi-Arabien strategische Chancen, betont aber, dass sie ohne starke Governance und Aufsicht scheitern könnten; der bereitgestellte Text ist nur ein Auszug.
- From bugs to bypasses: adapting vulnerability disclosure for AI safeguards
Der Auszug sieht mögliche Vorteile öffentlicher Schwachstellenprogramme für KI, betont aber, dass sie gründliche Sicherheitsarbeit nicht ersetzen und allein keine Sicherheit belegen.
- FMF Announces First-Of-Its-Kind Information-Sharing Agreement
- How will AI enable the crimes of the future?
Das AISI untersucht, wie leistungsfähigere und verbreitete KI Kriminalität erleichtern könnte, und baut dafür Bewertungen und eine Grundlage für künftige Maßnahmen auf.
- 010ee6f
Der vorliegende Leitfadenauszug empfiehlt öffentliche Beteiligung über den gesamten KI-Entwicklungszyklus, um laut Bericht Risiken und Bedürfnisse besser zu erkennen, doch das angekündigte Regelwerk und Diagramm sowie empirische Belege fehlen.
- Disrupting malicious uses of AI by state-affiliated threat actors
OpenAI berichtet von der Sperrung von Konten fünf staatlich zugeordneter Akteure und setzt nach eigenen Angaben auf Überwachung, Zusammenarbeit und verbesserte Schutzmaßnahmen, kann Missbrauch aber nicht vollständig verhindern.
- Disrupting malicious uses of AI: June 2025
Der Auszug berichtet OpenAIs Behauptung, KI zur Erkennung und Unterbrechung von Missbrauch eingesetzt zu haben, enthält aber keine konkreten Fallstudien oder Belege.
- Forecasting potential misuses of language models for disinformation campaigns and how to reduce risk
Die Überblicksseite warnt, dass Sprachmodelle Einflusskampagnen erleichtern könnten, und skizziert Gegenmaßnahmen, deren Nutzen und Nachteile jeweils geprüft werden müssten.
- AI System-to-Model Innovation
Der bereitgestellte Text ist ein Auszug aus einer Executive Summary, die wechselseitige Innovation zwischen KI-Modellen und zusammengesetzten Systemen beschreibt und Schutz, breiteren Zugang sowie vorausschauende Beobachtung empfiehlt.
- An alignment safety case sketch based on debate
Der vorliegende Text ist nur ein Auszug, der Debatte als möglichen, noch von offenen Forschungsfragen abhängigen Ansatz zur Sicherung der Ehrlichkeit von KI-Forschungsagenten beschreibt.
- An example safety case for safeguards against misuse
Der vorliegende Abstract skizziert einen möglichen Safety Case, der Umgehungsaufwand und Abschreckungswirkung modelliert, enthält aber keine Details zur Validierung.
- Chain of thought monitorability: A new and fragile opportunity for AI safety
Der bereitgestellte Auszug empfiehlt, die unvollkommene und möglicherweise fragile Überwachung sprachlich ausgedrückter KI-Gedankengänge als ergänzende Sicherheitsmethode weiter zu erforschen.
- A Plea: The Case for Digital Environmentalism
Der bereitgestellte Auszug fasst die Forderung nach digitalem Umweltschutz zusammen: zentrale Aufsicht, Prüf- und Nachhaltigkeitsregeln sowie mehr Haftung für Softwareanbieter sollen nach Ansicht der Verfassenden digitale Risiken begrenzen.
- Artificial Intelligence Security Standardization White Paper
Der Auszug aus einem chinesischen KI-Sicherheitsweißbuch von 2019 skizziert Risiken und das Vorhaben, Standards samt Empfehlungen zu entwickeln, enthält aber keine konkreten Analysen oder Anhänge.
- Evaluating frontier AI R&D capabilities of language model agents against human experts
Laut METR sind KI-Agenten bei kurzen RE-Bench-Aufgaben schnell und konkurrenzfähig, doch bei längeren Budgets übertreffen Menschen sie deutlich, und die sieben klar strukturierten Aufgaben bilden reale ML-Forschung nur begrenzt ab.
- Introducing the Frontier Model Forum
- Model tampering attacks enable more rigorous evaluations of LLM capabilities
Der bereitgestellte Abstract behauptet, dass Modellveränderungsangriffe Sprachmodellrisiken gründlicher prüfen können und Unlearning-Verfahren leicht umkehrbar sind.
- Co-Scientist: A multi-agent AI partner to accelerate research
Laut DeepMind unterstützt Co-Scientist Forschende bei Hypothesen und zeigte in ausgewählten Laborprojekten Nutzen, bleibt aber ein Hilfsmittel unter fachlicher Verantwortung.
- At the 20th Collective Study Session of the CCP Central Committee Politburo, Xi Jinping Stresses: Persist in Being Self-Reliant, Be Strongly Oriented Toward Applications, and Push the Orderly Development of Artificial Intelligence
Xis laut Xinhua wiedergegebene KI-Agenda verbindet technologische Eigenständigkeit und breite Anwendung mit Regulierung und internationaler Zusammenarbeit; unabhängige Belege zur Umsetzung enthält der Bericht nicht.
- Why human-AI relationships need socioaffective alignment
Der Auszug plädiert für eine sozioaffektive Ausrichtung von KI, die menschliches Wohlergehen, Autonomie und soziale Bindungen schützt.
- Safety case template for frontier AI: A cyber inability argument
Nur das Abstract liegt vor: Die Autoren schlagen eine beleggestützte CAE-Vorlage zur Bewertung offensiver Cyberfähigkeiten von KI vor, berichten aber keine konkreten Modellergebnisse.
- Amazon and Meta join the Frontier Model Forum to promote AI safety
- Details about METR's preliminary evaluation of OpenAI o1-preview
METR berichtet von vergleichbaren Ergebnissen zu Claude 3.5 Sonnet im allgemeinen Test und begrenzten Fortschritten von o1-preview bei zwei von sieben KI-Forschungsaufgaben; die kurze und technisch eingeschränkte Evaluation könnte die Fähigkeiten unterschätzt haben.
- Addendum to GPT-5.2 System Card: GPT-5.2-Codex
Der vorliegende Einleitungsauszug beschreibt GPT‑5.2‑Codex und OpenAIs Sicherheitseinschätzungen, enthält jedoch keine Details oder Messwerte zu den angekündigten Maßnahmen und Bewertungen.
- Why I joined AISI by Geoffrey Irving
Irving begründet seinen Wechsel zum AISI mit dem langsamen Fortschritt der KI-Sicherheitsforschung und dem Bedarf an technischer Arbeit für politische Entscheidungen.
- Opinions on Strengthening the Governance of Science and Technology Ethics
Der Auszug skizziert Chinas geplante Governance für Wissenschaftsethik, doch konkrete Prüfregeln sind im bereitgestellten Text nicht enthalten.
- Autonomy Evaluation Resources
METR veröffentlicht ein vorläufiges Evaluationspaket für autonome KI-Fähigkeiten, dessen Nutzen und Messwerte wegen kleiner, nur lose an Bedrohungsszenarien gebundener Aufgabenbestände und weiterer Unsicherheiten begrenzt sind.
- Agents for financial services
Anthropic kündigt zehn Finanzagenten, Microsoft-Add-ins und neue Datenverbindungen an und beschreibt sie als anpassbare Werkzeuge mit menschlicher Prüfung, ohne im Bericht unabhängige Wirksamkeitsnachweise vorzulegen.
- (Trial) Measures for Science and Technology Ethics Reviews (Draft for Feedback)
Der Bericht ist nur ein Auszug eines Entwurfs von 2023, der ethische Prüfungen für risikobehaftete Forschung vorsieht; Einzelheiten des vollständigen Verfahrens fehlen.
- Announcing Chris Meserole as Executive Director and the New AI Safety Fund
- Mapping the misuse of generative AI
Eine begrenzte Medienanalyse beschreibt verbreitete Missbrauchsmuster generativer KI und mögliche Schutzmaßnahmen, erlaubt aber keine repräsentative Aussage über das Ausmaß des Missbrauchs.
- Advancing Claude in healthcare and the life sciences
Anthropic kündigt neue Claude-Funktionen für Gesundheitswesen und Biowissenschaften an; die Vorteile werden im Bericht vor allem als Unternehmensangaben und mögliche Anwendungen dargestellt.
- Year in Review: Building a Safer Future Together
- A look at the risks and opportunities for AI in tax administrations
Der Beitrag spricht sich für den Einsatz von KI in Steuerverwaltungen aus, sofern Risiken wie Verzerrung, Intransparenz und Vertrauensverlust aktiv durch gute Daten, Kompetenzaufbau und Aufsicht begrenzt werden.
- Introducing Gemini Robotics and Gemini Robotics-ER, AI models designed for robots to understand, act and react to the physical world.
DeepMind stellt zwei Gemini-Modelle für Robotik vor und berichtet über Fortschritte bei Anpassungsfähigkeit, Geschicklichkeit und räumlichem Denken, während breite reale Anwendungen noch Entwicklungsziel sind.
- Chinese Critiques of Large Language Models
Der Auszug argumentiert, dass der Westen neben LLMs alternative Wege zu allgemeiner KI verfolgen sollte, während China laut Bericht bereits eine breitere Strategie verfolgt.
- AI Safety and Automation Bias
Der Auszug warnt, dass übermäßiges Vertrauen in KI die Kontrolle schwächen kann und laut den Verfassenden abgestimmte menschliche und technische Schutzmaßnahmen nötig sind; Details zu den angekündigten Fallstudien fehlen.
- How governments are driving AI adoption for economic growth
Laut Beitrag können Infrastruktur, KI-Kompetenzen und ein innovationsfreundlicher Regelrahmen die KI-Nutzung und Investitionen fördern; die beschriebenen Vorteile sind jedoch nicht durch eine eigene Wirkungsanalyse belegt.
- Government automated-decision-making: transparency and responsibility in the public sector
Öffentliche Algorithmenregister können Transparenz fördern, reichen laut Beitrag ohne verständliche Informationen, gemeinsame Standards und unabhängige Kontrolle aber nicht aus.
- Governing with artificial intelligence: Are governments ready?
Die OECD-Zusammenfassung sieht in KI Chancen für Verwaltung und öffentliche Dienste, fordert aber klare Strategien, Kompetenzen, Schutzregeln und Zusammenarbeit, um Risiken wie Verzerrung, Intransparenz und Datenschutzprobleme zu begrenzen.
- d67c55e
Der bereitgestellte Auszug empfiehlt, Beschäftigte bei Entwicklung, Beschaffung und Regulierung von KI am Arbeitsplatz stärker zu beteiligen und ihre Rechte sowie ihr Wohlergehen zu schützen.
- Anthropic partners with the UK Government on GOV.UK
Anthropic kündigt einen schrittweise zu erprobenden GOV.UK-Assistenten für Arbeitssuchende an; die Unternehmensmitteilung nennt Ziele, aber noch keine Ergebnisse.
- Towards Substantive Equality in Artificial Intelligence: Transformative AI Policy for Gender Equality and Diversity (November 2024)
Der bereitgestellte Auszug kündigt OECD-Empfehlungen für mehr Geschlechtergerechtigkeit und Vielfalt in KI an und warnt vor der Verstärkung bestehender Ungleichheiten, nennt aber keine konkreten Ergebnisse.
- Learning through human feedback
Menschen können Reinforcement-Learning-Agenten über Clip-Vergleiche Ziele vermitteln, doch die Ergebnisse sind uneinheitlich und bei zu wenig Feedback anfällig für Reward Hacking.
- SchoolAI builds an AI platform that empowers teachers
SchoolAI zufolge unterstützt seine KI-Plattform personalisiertes Lernen und frühere Interventionen; die genannten Reichweiten- und Wirkungszahlen werden im Bericht nicht durch unabhängige Evaluation oder erklärte Messmethoden belegt.
- The Partnership on AI Launches Multistakeholder Initiative To Enhance Machine Learning Transparency
Die PAI kündigte einen inklusiven, iterativen Prozess für ML-Transparenzempfehlungen an, deren Wirksamkeit laut Mitteilung erst noch durch umfangreiche Belege nachzuweisen wäre.
- Funding better evaluations of AI’s impact on wellbeing
Anthropic kündigt fünf Millionen US-Dollar für unabhängige Open-Source-Prüfungen der Auswirkungen von KI auf das Wohlbefinden an; Ergebnisse liegen im Bericht noch nicht vor.
- AI in South Korea—OpenAI’s Economic Blueprint
Der vorliegende Überblicksauszug gibt OpenAIs Vorschlag wieder, Südkorea solle eigene KI-Fähigkeiten und internationale Partnerschaften verbinden; der vollständige Bericht mit Empfehlungen und Fallbeispielen liegt hier nicht vor.
- An off switch for dual-use knowledge
- Biological sequence models in the context of the AI directives
Der Bericht sieht stark wachsende Rechen- und Datenbestände bei biologischen Sequenzmodellen und diskutiert eine mögliche, rechtlich nicht abschließend geklärte Lücke bei Modellen, die zwar viele biologische Daten nutzen, aber nicht überwiegend damit trainiert werden.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →