- Towards Safety Cases For AI Scheming
Die Überblicksseite skizziert mögliche Sicherheitsnachweise gegen KI-Scheming, betont aber, dass zentrale Annahmen und Überwachungstechniken noch offene Forschungsprobleme sind.
- International evaluation best practice and open questions in AI measurement
NAAIMES stellt gemeinsame Empfehlungen für vergleichbare KI-Evaluationen vor und will offene Fragen, besonders zu KI-Agenten, weiter bearbeiten; der Bericht belegt nicht, wie wirksam die Empfehlungen sind.
- Google DeepMind and Isomorphic Labs approach to bioresilience
Google DeepMind und Isomorphic Labs wollen KI mit Partnern für Prävention, Überwachung und Gegenmaßnahmen bei biologischen Gefahren nutzen; die Wirksamkeit wird im Beitrag nicht unabhängig belegt.
- OpenAI Red Teaming Network
OpenAI beschreibt ein externes Fachleutenetzwerk für Sicherheitsprüfungen von KI, dessen Bewerbungsphase am 1. Dezember 2023 endete.
- We Need A ‘Science of Evals’
Der Beitrag ruft dazu auf, KI-Evaluationen durch gemeinsame Standards, robuste Methoden und statistische Absicherung zu einer belastbaren Wissenschaft weiterzuentwickeln.
- Scientists Call for Global AI Safety Preparedness to Avert Catastrophic Risks
- State of AI Safety in China (2026) report + interactive companion website released
Der Beitrag fasst Concordia AIs Bericht 2026 zusammen: Chinas KI-Sicherheitsagenda richte sich zunehmend auf autonome Agenten und gesellschaftliche Risiken, während Unternehmensoffenlegung laut Beitrag lückenhaft bleibe.
- Emerging Practices for Multilingual Evaluations for CBRN and Advanced Cyber Risks
- Strengthening cyber resilience as AI capabilities advance
OpenAI will mit gestaffelten Schutzmaßnahmen und neuen Verteidigungsinitiativen den Nutzen leistungsfähiger KI für Cybersicherheit erhöhen, während mehrere Programme noch geplant sind und vollständige Missbrauchsverhinderung laut Bericht nicht erreichbar ist.
- Our Norms on Security, Science Communication and Conflicts of Interest
Apollo Research beschreibt eigene Standards für Interessenkonflikte, sichere Forschung und wissenschaftliche Kommunikation, belegt im Bericht aber nicht unabhängig deren Umsetzung.
- Security at Apollo Research
Apollo Research will KI-Prüfungen und Veröffentlichungen nach eigenen Angaben durch begrenzten Zugang, abgestufte Freigaben und fallweise Risikoabwägung absichern; die tatsächliche Wirksamkeit dieser Regeln wird im Bericht nicht unabhängig belegt.
- AI Behind Closed Doors: a Primer on The Governance of Internal Deployment
Apollo Research skizziert Risiken des internen KI-Einsatzes und empfiehlt als ersten Governance-Ansatz Prüfungen, Zugangsbeschränkungen, Aufsicht, gezielte Transparenz und gemeinsame Notfallpläne.
- Releasing AISI’s Engineering Playbook
AISI stellt einen offenen, in fünf Ebenen gegliederten Leitfaden für KI-Evaluationsinfrastruktur vor, den der Bericht als nützliche, aber noch weiterzuentwickelnde Momentaufnahme beschreibt.
- Assurance of Frontier AI Built for National Security
Der Auszug fordert gestufte Täuschungs- und Kontrollprüfungen für Sicherheits-KI, enthält aber keine Ergebnisse und endet vor dem angekündigten Abschnitt „Our Findings“.
- Frontier AI Risk Trends Are Splitting Apart: Misuse Safeguards Improve while Loss-of-control Safety Stagnates
Concordias Monitoring für Q1 2026 meldet wachsende KI-Fähigkeiten und verbesserte Schutzwerte in mehreren Risikobereichen, aber keine vergleichbaren Sicherheitsfortschritte beim Kontrollverlust.
- Will it become harder to oversee AI systems?
Laut dem vorgestellten AISI-Bericht könnte die Aufsicht über fortgeschrittene KI-Systeme an Wirkung verlieren; bestehende Kontrollen sollten deshalb erhalten, ihre Schwachstellen gemessen und neue Verfahren entwickelt werden.
- Advancing Gemini's security safeguards
Google DeepMind zufolge verbessert Gemini 2.5 durch Angriffstests und gezieltes Training seine Abwehr indirekter Prompt-Injections, bleibt aber auf mehrschichtige Schutzmaßnahmen und laufende Prüfungen angewiesen.
- Bay Area Alignment Workshop 2024
- Our Current Policy Positions
Apollo Research plädiert für lebenszyklusweite KI-Evaluationen, Vorfallsdaten, unabhängige Prüfer und internationale Koordination, präsentiert dies aber als eigene Positionen ohne unabhängige Wirksamkeitsbelege.
- Our Work Advancing Scientific Understanding To Foster An Effective International Evaluation Ecosystem
Apollo schildert seine Arbeit an internationalen KI-Sicherheitsbewertungen und fordert strengere wissenschaftliche Verfahren und Standards; der Bericht belegt jedoch keine unabhängige Wirkung dieser Aktivitäten.
- Safety case template for ‘inability’ arguments
Der Bericht skizziert eine vorläufige Safety-Case-Vorlage, die bei wenig leistungsfähigen KI-Systemen begründen soll, dass ihre Fähigkeiten für unvertretbare Cyberrisiken nicht ausreichen.
- 2017: DeepMind's year in review
DeepMind schildert eigene Forschungs- und Anwendungsfortschritte im Jahr 2017 und betont, dass KI-Entwicklung zugleich ethische Verantwortung und weitere Aufsicht erfordert.
- The UK AI Safety Summit: Our Recommendations
Apollo Research fordert gemeinsame KI-Sicherheitsregeln, Lebenszyklusprüfungen und aussagekräftige Bewertungen, warnt aber vor einer zu starken Orientierung am Rechenaufwand; der vorliegende Auszug endet vor dem Inhalt der Überschrift „OUR FINDINGS“.
- Illusory Safety: Redteaming DeepSeek R1 and the Strongest Fine-Tunable Models of OpenAI, Anthropic, and Google
- Post by @Sam_McCandlish on X
- Brief #27: China bans AI partners for minors and lays out AI agent threats
Laut Bericht verstärkt China den Schutz Minderjähriger bei emotionalen KI-Diensten und baut die Agenten-Governance aus, während ein KI-Grundgesetz bislang nur als Expertenentwurf vorliegt und die angeführten Forschungsresultate nicht umfassend auf Übertragbarkeit geprüft werden.
- London Alignment Workshop 2026
- A Toolkit for Estimating the Safety-Gap between Safety Trained and Helpful Only LLMs
- Post by @sreekanti on X
- Singapore Alignment Workshop 2025
- Technical Innovations for AI Policy 2025
- AI Safety in China #26
Chinas KI-Sicherheitsarbeit gewinnt laut Bericht an Breite, doch bei Standards, Tests, Gesetzgebung und internationaler Wirkung sind zentrale Ergebnisse noch ungewiss.
- Responding to the next frontier of critical cyber capabilities
OpenAI kann nach vorläufigen Tests kritische Cyberfähigkeiten bei Astra nicht ausschließen und verstärkt deshalb Sicherheitsmaßnahmen; ein bestätigter Nachweis für das Erreichen der Schwelle wird nicht vorgelegt.
- What can sandboxed AI agents learn about their evaluation environments?
Laut AISI konnte OpenClaw in einer Sandbox überraschend viel über seine Testumgebung herausfinden, was Sicherheitsrisiken schafft und die Aussagekraft von Evaluationen beeinträchtigen kann.
- Third-party cyber evaluations involving OpenAI models
Zwei Cybertest-Vorfälle mit OpenAI-Modellen zeigten laut Bericht Risiken durch Internetzugriff und unzureichend abgegrenzte Testumgebungen; OpenAI will deshalb Drittprüfungen und gemeinsame Sicherheitspraktiken überprüfen.
- Evidence for inference scaling in AI cyber tasks: Increased evaluation budgets reveal higher success rates
Laut AISI und Irregular können übliche Budgetgrenzen die Fähigkeiten neuerer KI-Modelle bei Cyber-Aufgaben unterschätzen, doch die Befunde sind begrenzt und ihre Übertragbarkeit auf andere Bereiche bleibt offen.
- 2025 Q4 Update from our Frontier AI Risk Monitoring Platform
Laut Concordia AI stabilisierten sich die Risikoindizes in Q4 2025, doch wachsende Fähigkeiten – besonders in der Biologie – treffen teils auf unzureichende Schutzmaßnahmen; der Text ist eine Highlights-Zusammenfassung, kein vollständiger Bericht.
- Building secure AGI: Evaluating emerging cyber security capabilities of advanced AI
DeepMind stellt einen 50 Aufgaben umfassenden Benchmark vor, um mögliche KI-Hilfen für Cyberangriffe und Lücken in der Abwehr systematisch zu bewerten; erste Tests sehen bei heutigen Modellen allein noch keine grundlegenden Angreifer-Durchbrüche.
- 2025 Q4 Update from our Frontier AI Risk Monitoring Platform
Der vorliegende Auszug berichtet von stabilisierten Gesamtrisiken und besseren Schutzmaßnahmen, aber weiter steigenden Fähigkeiten – besonders in Cyber und Biologie – und nennt die Kontrollverlust-Methodik noch unvollkommen.
- Anthropic's amended IPO filing warns it may soon meet its own threshold for AI-accelerated research, as third-quarter revenue reaches $17 billion
Anthropic sagt, seine KI könnte bald eine intern definierte Fortschrittsschwelle erreichen, während das Unternehmen zugleich vor Sicherheitsrisiken und im dritten Quartal trotz stark gestiegenen Umsatzes einen Betriebsverlust meldet.
- OpenAI public policy agenda
OpenAI skizziert eigene, veränderliche politische Vorschläge für sichere und breit zugängliche KI, ohne deren Wirkung unabhängig zu belegen.
- Can AI agents escape their sandboxes? A benchmark for safely measuring container breakout capabilities
Laut AISI können fortgeschrittene Modelle verbreitete Container-Fehlkonfigurationen ausnutzen, doch die Tests decken nur bekannte Schwachstellenklassen ab und keines der Modelle löste die schwierigsten Aufgaben.
- When AI Builds AI
Der bereitgestellte Auszug aus dem CSET-Executive-Summary sieht automatisierte KI-Forschung als mögliche strategische Überraschung und plädiert trotz erheblicher Unsicherheit für bessere Daten und Transparenz.
- Our 2025 year in review
AISI beschreibt 2025 als Jahr ausgeweiteter KI-Sicherheitsforschung und Zusammenarbeit, wobei die berichteten Ergebnisse Selbstauskünfte ohne durchgängige unabhängige Bestätigung sind.
- Physicist Christopher Stubbs joins Anthropic's Long-Term Benefit Trust
Anthropic zufolge soll der Physiker Christopher Stubbs seine wissenschaftliche Erfahrung in den Long-Term Benefit Trust einbringen, der die langfristige Ausrichtung des Unternehmens auf seinen öffentlichen Nutzen stützen soll.
- Chain of Thought Monitorability
- Strengthening societal resilience with Rosalind Biodefense
OpenAI will ausgewählten Entwicklern und öffentlichen Partnern GPT‑Rosalind für biologische Abwehr zugänglich machen; der Bericht beschreibt Vorhaben und Schutzmaßnahmen, aber noch keine nachgewiesenen Ergebnisse.
- 5 key findings from our first Frontier AI Trends Report
Laut AISI wachsen KI-Fähigkeiten und ihre gesellschaftliche Nutzung schnell, doch Schutzlücken, begrenzte Testbedingungen und unsichere Zukunftsverläufe lassen wesentliche Risiken offen.
- 10 Key Insights from Concordia AI’s “Frontier AI Risk Monitoring Platform”
Concordias Benchmark-Auswertung meldet steigende Fähigkeiten und Risikoindex-Höchstwerte bei Frontier-Modellen, aber oft schwache Schutzmaßnahmen; die Befunde sind methodenabhängig und nicht mit gleichen realen Risiken gleichzusetzen.
- 10 Key Insights from Concordia AI’s “Frontier AI Risk Monitoring Platform”
Concordias Bericht sieht steigende Fähigkeiten und Risiken fortgeschrittener KI bei häufig unzureichenden Schutzmaßnahmen, wobei die Befunde aus eigenen Benchmarks stammen und die vorgelegte Darstellung keine unabhängige Prüfung enthält.
- Stress-testing asynchronous monitoring of AI coding agents
Der Bericht findet, dass iterative asynchrone Überwachung viele getestete Angriffe erkennen kann, synchrone Prüfung aber sicherer war und die Übertragbarkeit der Ergebnisse auf reale Umgebungen ungewiss bleibt.
- Introducing the FMF’s Technical Report Series on Frontier AI Frameworks
- UKAISI at NeurIPS 2025
Das AISI kündigt zehn NeurIPS-Beiträge zur KI-Sicherheit an und berichtet über Schutzlücken, Evaluationsprobleme und Risiken autonomer Systeme, ohne im Text die zugrunde liegenden Methoden ausführlich darzulegen.
- Issue Brief: Preliminary Taxonomy of AI-Bio Safety Evaluations
- How to evaluate control measures for AI agents?
AI Control soll autonome KI-Agenten durch überprüfbare Schutzmaßnahmen begrenzen, doch für weit übermenschliche Täuschungsfähigkeiten reichen die derzeitigen Ansätze laut den Autoren nicht aus.
- Our compliance framework for California's SB 53
Anthropic veröffentlicht einen Rahmen zur Erfüllung des kalifornischen SB 53 und wirbt für bundesweite, flexible Transparenzregeln für die größten KI-Entwickler.
- Making safeguard evaluations actionable
AISI beschreibt einen möglichen, fortlaufend anzupassenden Rahmen, der Prüfungen von KI-Schutzmaßnahmen mit Risikobewertungen und Einsatzentscheidungen verbinden soll.
- Issue Brief: Preliminary Reporting Tiers for AI-Bio Safety Evaluations
- Latest from the FMF: Grant-Making to Address AI-Bio Risk Challenges
- World leaders, top AI companies set out plan for safety testing of frontier as first global AI Safety Summit concludes
Die Gipfel-Mitteilung beschreibt internationale Pläne für gemeinsame KI-Sicherheitstests und weitere Forschung, jedoch noch keine fertigen Standards oder konkreten Prüfergebnisse.
- OpenAI Bio Bug Bounty
OpenAI stellt sein Bio Bug Bounty auf ein fortlaufendes privates Programm um und nennt 50.000 US-Dollar als Prämie für universelle Jailbreaks gegen GPT‑5.5 beziehungsweise GPT‑5.6.
- Conference on frontier AI safety frameworks
Der Bericht kündigt eine Konferenz und ihren Themenaufruf zu Sicherheitsrahmen für fortgeschrittene KI an, berichtet jedoch keine Ergebnisse.
- Bounty programme for novel evaluations and agent scaffolding
AISI suchte Beiträge zu KI-Evaluationen und Agenten-Gerüsten gegen Prämien; die Ausschreibung ist abgelaufen, und der Bericht nennt zwei unterschiedliche erste Fristen.
- Announcing Inspect Evals | AISI Work
Der Bericht kündigt Inspect Evals als gemeinschaftliche, quelloffene Benchmark-Sammlung für Sprachmodelle an, deren Nutzen und Qualität hier nicht unabhängig belegt werden.
- Frontier Mitigations
- OpenAI’s Frontier Governance Framework
OpenAI kündigt ein öffentliches Governance Framework zu KI-Sicherheitsrisiken und regulatorischen Pflichten an; der Bericht nennt Themen und geplante Weiterentwicklung, bleibt aber eine knappe Übersicht.
- Risk Taxonomy and Thresholds for Frontier AI Frameworks
- Pre-deployment evaluation of Anthropic’s upgraded Claude 3.5 Sonnet
Der Überblick meldet gemischte Leistungsresultate und regelmäßig umgehbare Schutzvorkehrungen bei Claude 3.5 Sonnet, betont aber, dass die begrenzten Tests nur vorläufige Aussagen erlauben.
- Pre-Deployment evaluation of OpenAI’s o1 model
Die Vorabtests sahen o1 meist auf dem Niveau ähnlicher Modelle, doch die Institute betonen, dass die Ergebnisse vorläufig sind und nur für die angepasste Testversion gelten.
- Safety cases at AISI
AISI will mit ausdrücklich unsicheren Safety-Case-Skizzen frühzeitig Belege, offene Fragen und Forschungsbedarf für die Sicherheit künftiger leistungsfähiger KI-Systeme ordnen.
- Our First Year | AISI Work
AISI schildert den Aufbau von KI-Sicherheitsprüfungen, internationaler Zusammenarbeit und Forschungsförderung, betont aber, dass seine Tests keine Sicherheitszertifikate darstellen und nur begrenzt öffentlich ausgewertet werden können.
- How can safety cases be used to help with frontier AI safety?
Der vorliegende Bericht ist ein Auszug mit einer am Ende abgebrochenen Bildbeschreibung: Das AISI sieht Sicherheitsnachweise als mögliche Entscheidungshilfe für Frontier-KI, betont aber, dass belastbare Verfahren und wichtige Grundlagenfragen noch ungelöst sind.
- Guidelines on obligations for General-Purpose AI providers
Die Kommission legt unverbindlich aus, welche Dokumentations-, Urheberrechts-, Transparenz- und Risikopflichten Anbieter allgemeiner KI-Modelle nach dem EU-KI-Gesetz erfüllen sollen.
- How we’re working with frontier AI developers to improve model security
Das AISI berichtet über Kooperationen zur Verbesserung der KI-Sicherheit und bewertet sie als nützlich, legt im Beitrag jedoch keine konkreten Befunde oder messbaren Ergebnisse vor.
- Disrupting malicious uses of AI by state-affiliated threat actors
OpenAI berichtet von der Sperrung von Konten fünf staatlich zugeordneter Akteure und setzt nach eigenen Angaben auf Überwachung, Zusammenarbeit und verbesserte Schutzmaßnahmen, kann Missbrauch aber nicht vollständig verhindern.
- Managing risks from increasingly capable open-weight AI systems
AISI empfiehlt, Risiken offener KI-Modelle durch mehrere technische und organisatorische Maßnahmen zu begrenzen, da Schutzmaßnahmen umgangen werden können und keine vollständigen Sicherheitsgarantien bestehen.
- Why it’s good for AI reasoning to be legible and faithful
METR empfiehlt lesbare und möglichst treue KI-Gedankengänge als Hilfsmittel für Sicherheitskontrollen, betont aber die begrenzten Belege und Risiken, dass Modelle ihre Überlegungen verbergen.
- A structured protocol for elicitation experiments
Das AISI will mit einer gemeinsamen Checkliste die systematische Ermittlung von KI-Fähigkeiten verbessern und fordert dafür gemeinsame Standards und Wissensaustausch.
- RepliBench: measuring autonomous replication capabilities in AI systems
Laut RepliBench-Bericht beherrschen die getesteten Modelle noch nicht alle Teilfähigkeiten autonomer Replikation, doch der Benchmark prüft keine vollständige Replikation und die Zahl der Aufgaben wird widersprüchlich mit 65 beziehungsweise 86 angegeben.
- General-Purpose AI Models in the AI Act – Questions & Answers
Der Bericht erklärt Pflichten und Ausnahmen des EU-KI-Gesetzes für allgemein verwendbare KI-Modelle und betont, dass seine Antworten unverbindliche Orientierung der Kommission sind.
- Frontier threats red teaming for AI safety
Anthropic zufolge zeigen Tests mögliche, derzeit noch begrenzte biologische Missbrauchsrisiken leistungsfähiger KI, doch die sensiblen Einzelergebnisse und eine unabhängige Bestätigung legt der Bericht nicht vor.
- Issue Brief: Preliminary Taxonomy of Pre-Deployment Frontier AI Safety Evaluations
- Issue Brief: Components of Frontier AI Safety Frameworks
- Strengthening democratic oversight in national security
OpenAI kündigt Unterstützung für demokratische Aufsicht über staatliche Sicherheits-KI an, berichtet jedoch von Plänen statt bereits nachgewiesenen Ergebnissen.
- Introducing Claude 3.5 Sonnet
Anthropic stellt Claude 3.5 Sonnet samt Artifacts vor und berichtet von deutlichen Leistungsverbesserungen, wobei zentrale Benchmark- und Sicherheitsangaben im Artikel überwiegend Unternehmensangaben bleiben.
- Challenges in red teaming AI systems
Anthropic stellt verschiedene KI-Prüfmethoden vor und fordert gemeinsame Standards, unabhängige Tests sowie einen iterativen Weg von qualitativen zu automatisierten Evaluationen.
- A sketch of an AI control safety case
Der Abstract-Auszug beschreibt einen an Red-Team-Tests geknüpften Sicherheitsnachweis für LLM-Agenten, belegt aber keine tatsächliche Sicherheit.
- Strengthening global AI Safety: A perspective on the Singapore Consensus
Der Beitrag wirbt für einen fortzuentwickelnden internationalen KI-Sicherheits-Forschungsplan mit den Schwerpunkten Risikobewertung, sichere Entwicklung und Kontrolle und betont, dass Südostasien dabei berücksichtigt werden soll.
- Safety case template for frontier AI: A cyber inability argument
Nur das Abstract liegt vor: Die Autoren schlagen eine beleggestützte CAE-Vorlage zur Bewertung offensiver Cyberfähigkeiten von KI vor, berichten aber keine konkreten Modellergebnisse.
- Building a responsible AI future: How the G7 Hiroshima AI Process is enhancing responsible AI around the globe
Salesforce stellt eigene Maßnahmen für verantwortungsvolle KI und den freiwilligen G7/OECD-Berichtsrahmen vor, belegt deren Wirksamkeit im Beitrag aber nicht unabhängig.
- Issue Brief: What is red teaming?
- Detecting and countering malicious uses of Claude
Anthropic berichtet über vier Arten missbräuchlicher Claude-Nutzung und erklärt, die Konten gesperrt zu haben; für mehrere Vorhaben sei kein erfolgreicher Einsatz bestätigt.
- ML Engineers Needed for New AI R&D Evals Project
METR will ML-Fachleute einstellen, um Tests zu KI-F&E-Fähigkeiten und möglichen Schutzmaßnahmen zu entwickeln.
- Announcing Chris Meserole as Executive Director and the New AI Safety Fund
- Shaping Europe’s digital future
Der vorliegende Auszug fasst den risikobasierten Ansatz, abgestufte Pflichten für GPAI-Modelle und die Vollzugsstruktur des KI-Gesetzes zusammen, ohne konkrete Anwendungsdaten zu nennen.
- Portable Evaluation Tasks via the METR Task Standard
METR beschreibt einen offenen Standard für portable KI-Agenten-Aufgaben, dessen Nutzen und Verbreitung im Beitrag überwiegend durch Angaben von METR selbst belegt werden.
- Improving Fable 5's safeguards
Anthropic zufolge senkt ein überarbeiteter Schutzfilter unnötige Biologie-Weiterleitungen bei Fable 5 deutlich, während Fehlalarme und Einschränkungen für dual-use Forschung fortbestehen.
- Putting Explainable AI to the Test: A Critical Look at AI Evaluation Approaches
Der vorliegende Auszug berichtet von uneinheitlichen Begriffen und einem Übergewicht an Korrektheitsprüfungen bei erklärbaren KI-Empfehlungssystemen; ob sich das verallgemeinern lässt, bleibt offen.
- Fable 5's cyber safeguards and our jailbreak framework
Anthropic stellt Fable 5s Cyber-Filter und einen ausdrücklich vorläufigen Maßstab zur Bewertung von KI-Jailbreaks vor; beides soll Missbrauch begrenzen, wobei auch harmlose Anfragen blockiert werden können.
- US Executive Order, G7 Code, and Bletchley Park
Anthropic sieht in neuen Regeln und staatlichen KI-Prüfeinrichtungen einen wichtigen Anfang und fordert verlässliche Bewertungen als Grundlage für Regulierung und internationale Zusammenarbeit.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →