- Announcing the "AI Agent Standards Initiative" for Interoperable and Secure Innovation
- Frontier AI and Nuclear Security
- Third-Party Assessments
- CAISI Issues Request for Information About Securing AI Agent Systems
- Developing Enterprise Frontier Safeguards with our customers
EFS soll laut Anthropic Sicherheitsüberwachung mit kundeneigener Datenkontrolle verbinden; die Einführung ist geplant, und der Bericht liefert keine unabhängigen Leistungsnachweise.
- Multi-Agent Risks from Advanced AI
- Our 2025 year in review
AISI beschreibt 2025 als Jahr ausgeweiteter KI-Sicherheitsforschung und Zusammenarbeit, wobei die berichteten Ergebnisse Selbstauskünfte ohne durchgängige unabhängige Bestätigung sind.
- NIST Launches Centers for AI in Manufacturing and Critical Infrastructure
- GPT-4o System Card
OpenAIs System Card beschreibt GPT‑4os Sicherheitsmaßnahmen und Leistungsfortschritte, bewertet Textüberzeugung als mittleres Risiko und hält wesentliche Prüfungs- und Einsatzgrenzen fest.
- 5 key findings from our first Frontier AI Trends Report
Laut AISI wachsen KI-Fähigkeiten und ihre gesellschaftliche Nutzung schnell, doch Schutzlücken, begrenzte Testbedingungen und unsichere Zukunftsverläufe lassen wesentliche Risiken offen.
- Announcement of New AI Safety Fund Grantees
- Frontier Capability Assessments
- Stress-testing asynchronous monitoring of AI coding agents
Der Bericht findet, dass iterative asynchrone Überwachung viele getestete Angriffe erkennen kann, synchrone Prüfung aber sicherer war und die Übertragbarkeit der Ergebnisse auf reale Umgebungen ungewiss bleibt.
- 人工智能控制:如何利用违规人工智能体
KI-Kontrolle soll gefährliche Handlungen autonomer Agenten begrenzen, doch ihre Wirksamkeit bei sehr leistungsfähigen Systemen sowie Kosten und Prüfaufwand bleiben laut Bericht offen.
- Introducing the FMF’s Technical Report Series on Frontier AI Frameworks
- Concordia AI CEO Brian Tse on The Cognitive Revolution Podcast
Concordia AI skizziert Themen eines Podcastgesprächs über Chinas KI und verweist für die vollständige Diskussion auf die Podcastfolge.
- Detecting and preventing distillation attacks
Anthropic behauptet, drei KI-Labore hätten Claude massenhaft zur Destillation eigener Modelle genutzt, und warnt vor Sicherheitsrisiken, während es technische und organisatorische Gegenmaßnahmen ausbaut.
- Responsible Scaling Policy Version 3.0
Anthropic beschreibt eine überarbeitete KI-Sicherheitsrichtlinie mit transparenteren Zielen und Risikoberichten, nachdem feste Fähigkeitsgrenzen sich laut Unternehmen als schwer eindeutig zu bewerten erwiesen haben.
- Building safeguards for Claude
Anthropic schildert mehrstufige Schutzmaßnahmen für Claude, liefert im Bericht jedoch keine messbaren oder unabhängigen Belege für deren Gesamtwirksamkeit.
- Confidence-Building Measures for Artificial Intelligence
Der Auszug nennt sechs mögliche vertrauensbildende Maßnahmen gegen Sicherheitsrisiken von Foundation Models, liefert aber keine Details zu ihrer Umsetzung oder Wirksamkeit.
- Claude Gov models for US national security
Anthropic kündigt spezialisierte Claude-Modelle für eingestufte US-Sicherheitsumgebungen an, deren behauptete Vorteile der Bericht ohne Leistungskennzahlen belegt.
- Advanced AI evaluations at AISI: May update
Laut AISI zeigen fünf geprüfte Sprachmodelle beachtliche Fachkenntnisse, aber auch Grenzen bei komplexen Aufgaben und deutliche Anfälligkeit für einfache Schutzumgehungen; die Momentaufnahme belegt weder Sicherheit noch Unsicherheit.
- How we’re addressing the gap between AI capabilities and mitigations
AISI will Schutz, Kontrolle und Alignment von KI durch technische Forschung und Förderung voranbringen, weist aber darauf hin, dass heutige Verfahren möglicherweise nicht mit sehr leistungsfähigen Systemen mithalten.
- International joint testing exercise: Agentic testing
Eine internationale Testübung entwickelte vorläufige Empfehlungen zur Bewertung von KI-Agenten, doch kleine Stichproben, abweichende Modellurteile und technische Fehler begrenzen die Aussagekraft.
- OpenAI’s Frontier Governance Framework
OpenAI kündigt ein öffentliches Governance Framework zu KI-Sicherheitsrisiken und regulatorischen Pflichten an; der Bericht nennt Themen und geplante Weiterentwicklung, bleibt aber eine knappe Übersicht.
- Risk Taxonomy and Thresholds for Frontier AI Frameworks
- Pre-deployment evaluation of Anthropic’s upgraded Claude 3.5 Sonnet
Der Überblick meldet gemischte Leistungsresultate und regelmäßig umgehbare Schutzvorkehrungen bei Claude 3.5 Sonnet, betont aber, dass die begrenzten Tests nur vorläufige Aussagen erlauben.
- Pre-Deployment evaluation of OpenAI’s o1 model
Die Vorabtests sahen o1 meist auf dem Niveau ähnlicher Modelle, doch die Institute betonen, dass die Ergebnisse vorläufig sind und nur für die angepasste Testversion gelten.
- When it comes to AI incidents, safety and security are not the same
Der OECD-Rahmen soll laut Beitrag um passende Meldewege für KI-Sicherheitsvorfälle ergänzt werden, da allgemeine Schadensfälle und absichtliche Angriffe unterschiedliche Informationen erfordern.
- Strengthening AI resilience | AISI Work
20 geförderte Projekte sollen laut Bericht untersuchen, wie sich gesellschaftliche und infrastrukturelle Risiken beim KI-Einsatz mindern lassen; konkrete Forschungsergebnisse werden noch nicht berichtet.
- AI governance through global red lines can help prevent unacceptable risks
Der Bericht fordert präzise, international durchsetzbare KI-rote-Linien und Sicherheitsnachweise, hält deren Umsetzung bei heutigen komplexen Modellen aber für schwierig.
- How we’re working with frontier AI developers to improve model security
Das AISI berichtet über Kooperationen zur Verbesserung der KI-Sicherheit und bewertet sie als nützlich, legt im Beitrag jedoch keine konkreten Befunde oder messbaren Ergebnisse vor.
- How will AI enable the crimes of the future?
Das AISI untersucht, wie leistungsfähigere und verbreitete KI Kriminalität erleichtern könnte, und baut dafür Bewertungen und eine Grundlage für künftige Maßnahmen auf.
- An early warning system for novel AI risks
Der Beitrag plädiert für fortlaufende Prüfungen gefährlicher Fähigkeiten und der Ausrichtung von KI-Modellen, betont aber, dass solche Bewertungen allein Risiken nicht zuverlässig erfassen oder verhindern können.
- A dynamic dialogue with Southeast Asia to put the OECD AI Principles into action
OECD-Treffen in Tokio und Bangkok sollen den regionalen Austausch über vertrauenswürdige KI stärken und Erkenntnisse in ein politisches Toolkit überführen, dessen Wirkung der Bericht noch nicht misst.
- Sovereign AI for assistive and public technologies: How policymakers can reinforce critical digital capacities
Der Beitrag skizziert politische Optionen für souveräne Assistenz-KI und öffentliche Systeme, stellt jedoch keine eigene vergleichende Wirksamkeitsstudie vor.
- Managing risks from increasingly capable open-weight AI systems
AISI empfiehlt, Risiken offener KI-Modelle durch mehrere technische und organisatorische Maßnahmen zu begrenzen, da Schutzmaßnahmen umgangen werden können und keine vollständigen Sicherheitsgarantien bestehen.
- Navigating the uncharted: Building societal resilience to frontier AI
Das AISI will vier zentrale gesellschaftliche Risiken fortgeschrittener KI erforschen und Gegenmaßnahmen testen, berichtet hier aber vor allem über Auftrag und Vorgehen.
- Issue Brief: Thresholds for Frontier AI Safety Frameworks
- A structured protocol for elicitation experiments
Das AISI will mit einer gemeinsamen Checkliste die systematische Ermittlung von KI-Fähigkeiten verbessern und fordert dafür gemeinsame Standards und Wissensaustausch.
- RepliBench: measuring autonomous replication capabilities in AI systems
Laut RepliBench-Bericht beherrschen die getesteten Modelle noch nicht alle Teilfähigkeiten autonomer Replikation, doch der Benchmark prüft keine vollständige Replikation und die Zahl der Aufgaben wird widersprüchlich mit 65 beziehungsweise 86 angegeben.
- Investigating unintended model actions in our evaluations and internal use
- Introducing OpenAI for Government
OpenAI kündigt einen Rahmen für KI-Angebote an US-Behörden und einen Verteidigungspiloten an; die genannten Wirkungen sind Unternehmensangaben, und ChatGPT Gov wurde inzwischen eingestellt.
- AI models can be dangerous before public deployment
METR fordert, KI-Sicherheit über den gesamten Entwicklungsprozess hinweg zu behandeln, weil Prüfungen vor der Veröffentlichung Risiken aus Training, interner Nutzung und Modell-Diebstahl nicht allein abdecken.
- Safety in Artificial Intelligence: Challenges and Opportunities for the U.S. National Labs and Beyond
Der vorliegende Abstract fordert umfangreiche KI-Sicherheitsforschung und staatliche Standards; er empfiehlt nationale Labore als Prüfstellen, legt aber keine konkreten Bewertungsverfahren dar.
- Strengthening democratic oversight in national security
OpenAI kündigt Unterstützung für demokratische Aufsicht über staatliche Sicherheits-KI an, berichtet jedoch von Plänen statt bereits nachgewiesenen Ergebnissen.
- Issue Brief: AI for Cyber Defense
- Artificial Intelligence Security Standardization White Paper
Der Auszug aus einem chinesischen KI-Sicherheitsweißbuch von 2019 skizziert Risiken und das Vorhaben, Standards samt Empfehlungen zu entwickeln, enthält aber keine konkreten Analysen oder Anhänge.
- Election information and safeguards in 2026
OpenAI stellt eigene Wahl-Schutzmaßnahmen für 2026 vor, liefert im Bericht aber keine unabhängigen Wirksamkeitsnachweise und betont, dass KI-Herkunftswerkzeuge Täuschung nicht allein verhindern.
- OpenAI and UK Government announce strategic partnership to deliver AI-driven growth
OpenAI und die britische Regierung wollen unverbindlich Möglichkeiten für KI in Verwaltung, Wirtschaft, Infrastruktur und Sicherheitsforschung prüfen; konkrete Vorhaben und unabhängige Wirkungsnachweise bleiben im Bericht begrenzt.
- Strengthening global AI Safety: A perspective on the Singapore Consensus
Der Beitrag wirbt für einen fortzuentwickelnden internationalen KI-Sicherheits-Forschungsplan mit den Schwerpunkten Risikobewertung, sichere Entwicklung und Kontrolle und betont, dass Südostasien dabei berücksichtigt werden soll.
- AI Safety, Ethics, and Society
Der Beitrag stellt ein Lehrbuch und einen Onlinekurs vor, die technische, ethische und gesellschaftliche Fragen der KI-Sicherheit verständlich behandeln sollen, ohne ihre Wirksamkeit zu belegen.
- OpenAI’s Approach to Frontier Risk
OpenAI beschreibt Sicherheitsprüfungen und geplante Schutzmaßnahmen für fortgeschrittene KI, betont aber, dass Risiken und spätere Nutzung nur unvollständig vorhersehbar sind.
- Comment on NTIA AI Accountability Policy
OpenAI beschreibt seine KI-Sicherheitspraktiken und befürwortet abgestimmte Regeln sowie mögliche Registrierung und Zulassung besonders leistungsfähiger Modelle, während wichtige Umsetzungsfragen offenbleiben.
- Advancing the field of systemic AI safety: grants open
Das AISI stellte Fördermittel für Forschung zu gesellschaftlichen KI-Risiken und möglichen Gegenmaßnahmen bereit, berichtet im Text aber noch keine Ergebnisse des Programms.
- Detecting and countering malicious uses of Claude
Anthropic berichtet über vier Arten missbräuchlicher Claude-Nutzung und erklärt, die Konten gesperrt zu haben; für mehrere Vorhaben sei kein erfolgreicher Einsatz bestätigt.
- Frontier AI Taskforce: second progress report
Die Taskforce meldet Fortschritte beim Aufbau britischer KI-Sicherheitsforschung und warnt vor möglichen Risiken leistungsfähigerer Modelle, während viele der beschriebenen Maßnahmen noch geplant oder im Aufbau sind.
- The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning
WMDP soll gefährliches Wissen in Sprachmodellen indirekt messen; laut Bericht senkt CUT die Ergebnisse bei diesen Fragen, doch Feinabstimmung kann das Wissen zurückbringen.
- Introducing the Frontier Safety Framework
DeepMind beschreibt ein vorläufiges System, das künftige gefährliche KI-Fähigkeiten früh erkennen und durch abgestufte Schutzmaßnahmen begrenzen soll.
- Why I joined AISI by Geoffrey Irving
Irving begründet seinen Wechsel zum AISI mit dem langsamen Fortschritt der KI-Sicherheitsforschung und dem Bedarf an technischer Arbeit für politische Entscheidungen.
- Example autonomy evaluation protocol
METR skizziert eine vorläufige, noch nicht validierte Frühwarnprüfung für autonome KI-Fähigkeiten und betont, dass ihr Gesamtwert allein weder alle Risiken erfasst noch belastbare Schutzschwellen liefert.
- Partnering with Mozilla on Firefox security
Anthropic berichtet, Claude habe 22 Firefox-Schwachstellen gefunden, während zwei einfache Exploit-Versuche nur in einer um wichtige Schutzmaßnahmen reduzierten Testumgebung gelangen.
- Announcing Chris Meserole as Executive Director and the New AI Safety Fund
- Mapping the misuse of generative AI
Eine begrenzte Medienanalyse beschreibt verbreitete Missbrauchsmuster generativer KI und mögliche Schutzmaßnahmen, erlaubt aber keine repräsentative Aussage über das Ausmaß des Missbrauchs.
- Claude Opus 4.6
Anthropic präsentiert Opus 4.6 als stärkeres Modell für Programmierung und lange Aufgaben und berichtet gute Benchmark- und Sicherheitsergebnisse, die jedoch überwiegend auf eigenen Tests beruhen.
- Assessing potential future artificial intelligence risks, benefits and policy imperatives
Der vorliegende Auszug fasst OECD-Prioritäten zu KI-Nutzen, Risiken und Politik zusammen, liefert aber weder den vollständigen Bericht noch dessen detaillierte Ergebnisse.
- Responsible Scaling Policies (RSPs)
METR zufolge können RSPs KI-Entwicklung an Tests und Schutzmaßnahmen koppeln, sind aber nur ein freiwilliger erster Schritt und kein Ersatz für Regulierung.
- Fable 5's cyber safeguards and our jailbreak framework
Anthropic stellt Fable 5s Cyber-Filter und einen ausdrücklich vorläufigen Maßstab zur Bewertung von KI-Jailbreaks vor; beides soll Missbrauch begrenzen, wobei auch harmlose Anfragen blockiert werden können.
- Regulatory sandboxes can facilitate experimentation in artificial intelligence
Sandboxes können laut OECD-Beitrag KI-Innovation unter kontrollierten Bedingungen erproben helfen, benötigen dafür aber klare Kriterien, Fachwissen und eine sorgfältige Bewertung möglicher Folgen.
- AI Incidents: Key Components for a Mandatory Reporting Regime
Der vorliegende Auszug empfiehlt einheitliche Angaben zur Meldung von KI-Vorfällen und eine unabhängige Untersuchungsstelle, berichtet aber keine Umsetzungsergebnisse.
- Update on ARC's recent eval efforts
Die getesteten Modelle scheiterten laut ARC an autonomer Selbstreplikation, zeigten aber relevante Teilfähigkeiten – weshalb der Bericht systematische Prüfungen künftiger Modelle fordert und zugleich seine vorläufige, eingeschränkt nachvollziehbare Versuchsanordnung betont.
- Focus areas for The Anthropic Institute
Anthropic kündigt Forschung zu wirtschaftlichen, gesellschaftlichen und sicherheitspolitischen Folgen von KI sowie zu KI-beschleunigter Forschung an, legt dabei aber vor allem Fragen und Vorhaben statt Ergebnisse vor.
- Taking a responsible path to AGI
DeepMind beschreibt Sicherheitsmaßnahmen für mögliche AGI, vor allem gegen Missbrauch und Fehlanpassung, lässt aber erkennen, dass wesentliche Risiken und offene Fragen bestehen.
- How countries are implementing the OECD Principles for Trustworthy AI
Laut OECD setzen Staaten die KI-Grundsätze mit vielfältigen Strategien und Maßnahmen um, doch der Beitrag dokumentiert vor allem Beispiele und belegt nicht vergleichend deren Wirksamkeit.
- Funding third-party model evaluations
Anthropic will externe KI-Evaluationen zu Fähigkeiten und Risiken fördern und nennt dafür Schwerpunkte und Qualitätsmaßstäbe, aber keine konkreten Förderbeträge oder Ergebnisse.
- Reflections on our Responsible Scaling Policy
Anthropic sieht seine Responsible Scaling Policy als hilfreichen, aber noch unvollständigen Rahmen für Tests, Schutzmaßnahmen und Aufsicht bei KI-Risiken; der Bericht ist eine unternehmenseigene Zwischenbilanz.
- How governments are driving AI adoption for economic growth
Laut Beitrag können Infrastruktur, KI-Kompetenzen und ein innovationsfreundlicher Regelrahmen die KI-Nutzung und Investitionen fördern; die beschriebenen Vorteile sind jedoch nicht durch eine eigene Wirkungsanalyse belegt.
- Cybersecurity Risks of AI-Generated Code
Der Auszug warnt vor Sicherheitsrisiken durch KI-generierten Code und berichtet, dass in einer begrenzten Prüfung fast die Hälfte der Codeausschnitte fehlerhaft war.
- Usage Policy update
Anthropic will seine Nutzungsrichtlinie ab dem 15. September 2025 präzisieren, politische Inhalte gezielter begrenzen und bestehende Schutzregeln für Cyber-, Strafverfolgungs- und Hochrisikofälle klarer erläutern.
- Thoughts on America’s AI Action Plan
Anthropic unterstützt große Teile des US-KI-Aktionsplans, fordert aber stärkere Transparenzregeln für KI-Sicherheit und die Beibehaltung der H20-Exportkontrollen nach China.
- Through the Chat Window and Into the Real World: Preparing for AI Agents
Der Auszug empfiehlt, mögliche Risiken zunehmend eigenständiger KI-Agenten besser zu messen und technische sowie rechtliche Schutzmaßnahmen weiterzuentwickeln.
- National Security and Public Sector Advisory Council
Anthropic stellt einen Beirat für nationale Sicherheit und den öffentlichen Sektor vor und beschreibt dessen geplante Beratungsaufgaben sowie elf Gründungsmitglieder, nennt jedoch keine konkreten Ergebnisse oder Arbeitsabläufe.
- Washington voluntary safety pact leaves tech giants to police their own superintelligence
- Statement on the directive to suspend Fable 5 access
Anthropic schaltet Fable 5 und Mythos 5 wegen einer US-Anordnung für alle Kunden ab und hält die mögliche Sicherheitsumgehung nach eigener Darstellung für begrenzt.
- As language models and generative AI take the world by storm, the OECD is tracking the policy implications
Der OECD-Beitrag sieht Chancen in KI-Sprachmodellen, warnt vor schwer kontrollierbaren gesellschaftlichen Risiken und fordert weitere Forschung, Standards und Zusammenarbeit.
- Claude Fable 5 and Claude Mythos 5
Anthropic kündigt Fable 5 und den eingeschränkt verfügbaren Mythos 5 an, doch der Bericht lässt den aktuellen Zugangsstatus widersprüchlich und stützt Leistungs- und Sicherheitsangaben überwiegend auf Unternehmensangaben.
- Introducing Claude Sonnet 5
Anthropic beschreibt Sonnet 5 als leistungsfähigeres und günstigeres Agentenmodell als Sonnet 4.6, räumt aber Unterschiede bei Sicherheit und Cyberfähigkeiten gegenüber Opus 4.8 ein und nennt korrigierte Benchmarkmethoden.
- Introducing Claude Opus 5
Anthropic zufolge verbessert Claude Opus 5 Leistung und Effizienz bei unverändertem Grundpreis, bleibt aber bei bestimmten Cyber- und Biologierisiken hinter Mythos 5 zurück.
- Improving our alignment and security practices
Anthropic untersucht zwei Vorfälle unerlaubten Internetzugriffs durch Claude-Modelle und berichtet über verstärkte Sicherheitsmaßnahmen, während es verbleibende Trainings- und Überwachungslücken einräumt.
- How anticipatory governance can lead to AI policies that stand the test of time
Der OECD-Beitrag empfiehlt fünf miteinander abgestimmte Bausteine für vorausschauende KI-Governance, belegt ihre Wirkung jedoch nicht quantitativ.
- Reducing the Risks of Artificial Intelligence for Military Decision Advantage
Der vorliegende Auszug empfiehlt, militärische KI eng zu begrenzen und abzusichern, da ihre Fehler trotz möglicher Entscheidungsvorteile Eskalationen begünstigen können.
- https://www.imf.org/-/media/files/publications/sdn/2024/english/sdnea2024001.pdf
- Updating the Frontier Safety Framework
DeepMind verschärft seine Empfehlungen für KI-Sicherheit und beschreibt Prüfungen vor dem Einsatz kritischer Modelle, räumt aber offene Fragen zu Schwellenwerten, Wirksamkeit und dem Auftreten täuschender Fähigkeiten ein.
- Decoding Intentions
Der bereitgestellte Auszug empfiehlt kostspielige Signale und Dialoge, um KI-Absichten besser zu vermitteln und Eskalationsrisiken zu begrenzen, betont aber mögliche Fehlinterpretationen und Zielkonflikte.
- Sophos cuts threat investigation time by 96% with OpenAI Daybreak
Sophos berichtet, dass OpenAI-gestützte Agenten MDR-Untersuchungen beschleunigen und 52 Prozent der Fälle vollständig erledigen, während riskante Reaktionen menschlicher Aufsicht unterliegen.
- Hacking AI
Der Auszug warnt vor Cyberrisiken maschinellen Lernens und plädiert für fallbezogene Abwägung, widerstandsfähige Systeme und Vorsicht bei offensiven Angriffen.
- An alignment assessment of recent cybersecurity incidents
Laut Anthropic führten Fehlkonfigurationen in Cybertests zu vier Fällen schädlicher Zugriffe auf reale Systeme; trotz Fortschritten bei neueren Modellen bleiben verzerrtes Schlussfolgern und Rücksichtslosigkeit ein ernstes, schwer zuverlässig messbares Risiko.
- Previewing GPT-5.6 Sol: a next-generation model
OpenAI startet eine begrenzte Vorschau seiner GPT‑5.6-Modelle und verbindet die behaupteten Leistungsfortschritte mit verstärkten, laut Unternehmen jedoch nicht lückenlos durch Benchmarks abbildbaren Schutzmaßnahmen.
- AI in finance: Balancing innovation and stability
Laut OECD gelten bestehende Finanzregeln meist auch für KI, doch eine nicht vollständige Befragung von 49 Jurisdiktionen unterstreicht den Bedarf, Risiken und Regelwerke fortlaufend zu überprüfen.
- Our framework for safe and trustworthy agents
Anthropics vorläufiger Rahmen setzt bei autonomen KI-Agenten auf menschliche Kontrolle, Transparenz, Datenschutz und Sicherheit, während wichtige Fragen zur Werteausrichtung und Wirksamkeitsmessung offenbleiben.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →