- Information Sharing, Incident Reporting, and Incident Response for Frontier AI Risks
- Brief #27: China bans AI partners for minors and lays out AI agent threats
Laut Bericht verstärkt China den Schutz Minderjähriger bei emotionalen KI-Diensten und baut die Agenten-Governance aus, während ein KI-Grundgesetz bislang nur als Expertenentwurf vorliegt und die angeführten Forschungsresultate nicht umfassend auf Übertragbarkeit geprüft werden.
- Technical Innovations for AI Policy 2025
- Managing Advanced Cyber Risks in Frontier AI Frameworks
- AI Safety in China #26
Chinas KI-Sicherheitsarbeit gewinnt laut Bericht an Breite, doch bei Standards, Tests, Gesetzgebung und internationaler Wirkung sind zentrale Ergebnisse noch ungewiss.
- AI Safety in the 15th Five-Year Plan — Two Sessions Special Edition
Chinas neue Planungsdokumente räumen KI und ihrer Governance mehr Gewicht ein, setzen laut Bericht aber überwiegend auf Kontinuität und allgemeine Sicherheitsmechanismen statt auf eine umfassende Benennung konkreter Risiken.
- AI Companies Should Report Pre- and Post-Mitigation Safety Evaluations
- Third-Party Assessments
- Public AI: Policies for democratic and sustainable AI infrastructures
Der Beitrag plädiert für offene, demokratisch kontrollierte und nachhaltige KI als digitales öffentliches Gut und empfiehlt dafür koordinierte Maßnahmen bei Rechenleistung, Daten und Modellen.
- Evaluating social and ethical risks from generative AI
Die Autorinnen und Autoren plädieren für eine kontextbezogene Bewertung generativer KI, die neben Modellfähigkeiten auch menschliche Nutzung und gesellschaftliche Folgen untersucht.
- AI Safety in China #24
Der Bericht zeigt wachsende chinesische Debatten über KI-Sicherheit, aber auch unterschiedliche Einschätzungen zu Risiken, Regulierung und ihrer politischen Priorität.
- A new expert group at the OECD for policy synergies in AI, data and privacy
Die OECD-Expertengruppe soll die Zusammenarbeit zwischen KI- und Datenschutzgemeinschaften stärken; der Beitrag skizziert ihre Ziele, nicht bereits erzielte Ergebnisse.
- Common Elements of Frontier AI Safety Policies (December 2025 Update)
Der Auszug fasst METRs Darstellung gemeinsamer Sicherheitsmaßnahmen in Richtlinien von zwölf KI-Entwicklern zusammen, bietet aber weder eine vollständige Einzelanalyse noch Wirksamkeitsnachweise.
- Frontier Capability Assessments
- 人工智能控制:如何利用违规人工智能体
KI-Kontrolle soll gefährliche Handlungen autonomer Agenten begrenzen, doch ihre Wirksamkeit bei sehr leistungsfähigen Systemen sowie Kosten und Prüfaufwand bleiben laut Bericht offen.
- Introducing the FMF’s Technical Report Series on Frontier AI Frameworks
- Expanding Project Glasswing
Anthropic erweitert Project Glasswing für rund 150 weitere Organisationen und will KI stärker für die Behebung von Sicherheitslücken einsetzen, hält einen allgemeinen Zugang zu Mythos-ähnlichen Fähigkeiten aber mangels ausreichender Schutzmaßnahmen noch für verfrüht.
- Responsible Scaling Policy Version 3.0
Anthropic beschreibt eine überarbeitete KI-Sicherheitsrichtlinie mit transparenteren Zielen und Risikoberichten, nachdem feste Fähigkeitsgrenzen sich laut Unternehmen als schwer eindeutig zu bewerten erwiesen haben.
- Our compliance framework for California's SB 53
Anthropic veröffentlicht einen Rahmen zur Erfüllung des kalifornischen SB 53 und wirbt für bundesweite, flexible Transparenzregeln für die größten KI-Entwickler.
- Introducing the Teen Safety Blueprint
OpenAI präsentiert einen Jugend-Sicherheitsrahmen und berichtet über laufende Schutzmaßnahmen, ohne im Text deren Wirksamkeit zu belegen.
- Building safeguards for Claude
Anthropic schildert mehrstufige Schutzmaßnahmen für Claude, liefert im Bericht jedoch keine messbaren oder unabhängigen Belege für deren Gesamtwirksamkeit.
- Latest from the FMF: Grant-Making to Address AI-Bio Risk Challenges
- How we’re addressing the gap between AI capabilities and mitigations
AISI will Schutz, Kontrolle und Alignment von KI durch technische Forschung und Förderung voranbringen, weist aber darauf hin, dass heutige Verfahren möglicherweise nicht mit sehr leistungsfähigen Systemen mithalten.
- Managing the Risks of AI Research: Six Recommendations for Responsible Publication
Der Auszug fasst PAI-Empfehlungen zur verantwortungsvollen Veröffentlichung von KI-Forschung nur überblicksartig zusammen; das vollständige Weißbuch liegt nicht vor.
- Conference on frontier AI safety frameworks
Der Bericht kündigt eine Konferenz und ihren Themenaufruf zu Sicherheitsrahmen für fortgeschrittene KI an, berichtet jedoch keine Ergebnisse.
- Early lessons from evaluating frontier AI systems
Das AISI entwickelt mehrstufige unabhängige KI-Prüfungen, betont aber, dass deren Aussagekraft und die wissenschaftlichen Grundlagen noch Grenzen haben.
- Technical Documentation of National Technical Committee 260 on Cybersecurity of Standardization Administration of China: Basic Safety Requirements for Generative Artificial Intelligence Services
Der bereitgestellte Bericht ist nur ein Auszug: Laut CSET setzt die chinesische Dokumentation grundlegende Sicherheitsanforderungen für generative KI-Dienste, doch die konkreten Regeln sind hier nicht enthalten.
- National Standard of the People's Republic of China: Cybersecurity Technology - Basic Safety Requirements for Generative Artificial Intelligence Services (Draft for Feedback)
Der vorliegende Auszug skizziert einen chinesischen KI-Sicherheitsstandard und behauptet, sein Schwerpunkt sei die Verhinderung unerwünschter Inhalte; der übrige Standard ist hier nicht enthalten.
- Frontier Mitigations
- AI Safety Institute approach to evaluations
AISI berichtet über frühe Tests, die mögliche Risiken fortgeschrittener KI aufzeigen, betont aber, dass diese vorläufig sind und keine umfassende Sicherheitsbewertung darstellen.
- Risk Taxonomy and Thresholds for Frontier AI Frameworks
- AISI Research Agenda | The AI Security Institute
Das AISI beschreibt eine veränderliche Forschungsagenda zu Risiken fortgeschrittener KI und betont, dass manche Details sensibel, Ergebnisse begrenzt und viele Vorhaben noch nicht abschließend sind.
- Framework Act on the Development of Artificial Intelligence and Establishment of Trust
Der Auszug beschreibt Südkoreas KI-Rahmengesetz und seine Definition besonders folgenreicher KI, enthält aber nur die Einleitung und Teile bis Artikel 2.
- What should companies share about risks from frontier AI models?
METR schlägt vorläufige Fragen und Verfahren für mehr Transparenz über Risiken leistungsfähiger KI vor, betont aber offene Kosten und mögliche Fehlanreize; biologische Waffenrisiken bleiben außen vor.
- Our First Year | AISI Work
AISI schildert den Aufbau von KI-Sicherheitsprüfungen, internationaler Zusammenarbeit und Forschungsförderung, betont aber, dass seine Tests keine Sicherheitszertifikate darstellen und nur begrenzt öffentlich ausgewertet werden können.
- Exploring institutions for global AI governance
Ein Whitepaper skizziert vier mögliche Institutionen für globale KI-Governance, betont aber, dass ihre Umsetzung mit erheblichen offenen Fragen verbunden ist.
- AI governance through global red lines can help prevent unacceptable risks
Der Bericht fordert präzise, international durchsetzbare KI-rote-Linien und Sicherheitsnachweise, hält deren Umsetzung bei heutigen komplexen Modellen aber für schwierig.
- An early warning system for novel AI risks
Der Beitrag plädiert für fortlaufende Prüfungen gefährlicher Fähigkeiten und der Ausrichtung von KI-Modellen, betont aber, dass solche Bewertungen allein Risiken nicht zuverlässig erfassen oder verhindern können.
- FMF Response: Request for Information on the Development of an AI Action Plan
- Managing risks from increasingly capable open-weight AI systems
AISI empfiehlt, Risiken offener KI-Modelle durch mehrere technische und organisatorische Maßnahmen zu begrenzen, da Schutzmaßnahmen umgangen werden können und keine vollständigen Sicherheitsgarantien bestehen.
- Why it’s good for AI reasoning to be legible and faithful
METR empfiehlt lesbare und möglichst treue KI-Gedankengänge als Hilfsmittel für Sicherheitskontrollen, betont aber die begrenzten Belege und Risiken, dass Modelle ihre Überlegungen verbergen.
- METR’s GPT-4.5 pre-deployment evaluations
METRs vorläufige Tests ordnen GPT-4.5 zwischen GPT-4o und o1 ein, schließen große Risiken aber nicht aus; der bereitgestellte Auszug ist am Ende abgeschnitten.
- General-purpose AI obligations under the AI Act | Shaping Europe’s digital future
Die Seite überblickt GPAI-Pflichten nach dem KI-Gesetz, darunter zusätzliche Vorgaben für systemische Risiken, deren Schwellenwert laut Bericht überprüft wird.
- Frontier model security
Anthropic fordert strengere Sicherheitspraktiken und mehr staatlich-industrielle Zusammenarbeit für Spitzen-KI und erklärt, diese Maßnahmen selbst schrittweise umzusetzen.
- Issue Brief: Preliminary Taxonomy of Pre-Deployment Frontier AI Safety Evaluations
- AI models can be dangerous before public deployment
METR fordert, KI-Sicherheit über den gesamten Entwicklungsprozess hinweg zu behandeln, weil Prüfungen vor der Veröffentlichung Risiken aus Training, interner Nutzung und Modell-Diebstahl nicht allein abdecken.
- Issue Brief: Components of Frontier AI Safety Frameworks
- Artificial Intelligence Security Standardization White Paper
Der Auszug aus einem chinesischen KI-Sicherheitsweißbuch von 2019 skizziert Risiken und das Vorhaben, Standards samt Empfehlungen zu entwickeln, enthält aber keine konkreten Analysen oder Anhänge.
- Progress Update: Advancing Frontier AI Safety in 2024 and Beyond
- Introducing Claude 3.5 Sonnet
Anthropic stellt Claude 3.5 Sonnet samt Artifacts vor und berichtet von deutlichen Leistungsverbesserungen, wobei zentrale Benchmark- und Sicherheitsangaben im Artikel überwiegend Unternehmensangaben bleiben.
- Challenges in red teaming AI systems
Anthropic stellt verschiedene KI-Prüfmethoden vor und fordert gemeinsame Standards, unabhängige Tests sowie einen iterativen Weg von qualitativen zu automatisierten Evaluationen.
- Our approach to government and national security partnerships
OpenAI befürwortet defensive KI-Anwendungen in der nationalen Sicherheit unter demokratischer Kontrolle und verweist auf eigene Partnerschaften und Nutzungsgrenzen; die vollständigen Grundsätze sind im Bericht nicht abgedruckt.
- Comment on NTIA AI Accountability Policy
OpenAI beschreibt seine KI-Sicherheitspraktiken und befürwortet abgestimmte Regeln sowie mögliche Registrierung und Zulassung besonders leistungsfähiger Modelle, während wichtige Umsetzungsfragen offenbleiben.
- Issue Brief: What is red teaming?
- Understanding and addressing AI harms
Anthropic stellt einen noch veränderlichen Rahmen zur Bewertung und Eindämmung vielfältiger KI-Schäden vor und berichtet für Claude 3.7 Sonnet von weniger unnötigen Ablehnungen, ohne im Bericht unabhängige Belege dafür anzuführen.
- Frontier AI Taskforce: second progress report
Die Taskforce meldet Fortschritte beim Aufbau britischer KI-Sicherheitsforschung und warnt vor möglichen Risiken leistungsfähigerer Modelle, während viele der beschriebenen Maßnahmen noch geplant oder im Aufbau sind.
- AI Safety Institute: third progress report
Das britische AI Safety Institute baut sein Team und internationale Zusammenarbeit aus und hat KI-Sicherheitstests begonnen, berichtet aber noch keine Testergebnisse.
- Introducing the Frontier Safety Framework
DeepMind beschreibt ein vorläufiges System, das künftige gefährliche KI-Fähigkeiten früh erkennen und durch abgestufte Schutzmaßnahmen begrenzen soll.
- Opinions on Strengthening the Governance of Science and Technology Ethics
Der Auszug skizziert Chinas geplante Governance für Wissenschaftsethik, doch konkrete Prüfregeln sind im bereitgestellten Text nicht enthalten.
- Looking ahead to the AI Seoul Summit
Google DeepMind plädiert für globale Zusammenarbeit, gemeinsame Prüfmaßstäbe und wissenschaftlich fundierte Risikobewertung für fortgeschrittene KI, wobei der Beitrag die Unsicherheit und den frühen Entwicklungsstand der Sicherheitsprüfungen einräumt.
- (Trial) Measures for Science and Technology Ethics Reviews
Nur ein Auszug liegt vor: Er skizziert Zweck, Anwendungsbereich und Grundsätze chinesischer Ethikprüfungen; die vollständigen Verfahren und übrigen Regelungen stehen laut Seite im PDF.
- (Trial) Measures for Science and Technology Ethics Reviews (Draft for Feedback)
Der Bericht ist nur ein Auszug eines Entwurfs von 2023, der ethische Prüfungen für risikobehaftete Forschung vorsieht; Einzelheiten des vollständigen Verfahrens fehlen.
- Shaping Europe’s digital future
Der vorliegende Auszug fasst den risikobasierten Ansatz, abgestufte Pflichten für GPAI-Modelle und die Vollzugsstruktur des KI-Gesetzes zusammen, ohne konkrete Anwendungsdaten zu nennen.
- 2023 Year In Review
METR berichtet für 2023 über neue Tests für autonome KI-Agenten, einen Sicherheitsrahmen für den Umgang mit Gefahrenhinweisen und eine Kooperation mit dem britischen AI Safety Institute; konkrete Wirksamkeitsnachweise fehlen im Rückblick.
- Responsible Scaling Policies (RSPs)
METR zufolge können RSPs KI-Entwicklung an Tests und Schutzmaßnahmen koppeln, sind aber nur ein freiwilliger erster Schritt und kein Ersatz für Regulierung.
- AI Incidents: Key Components for a Mandatory Reporting Regime
Der vorliegende Auszug empfiehlt einheitliche Angaben zur Meldung von KI-Vorfällen und eine unabhängige Untersuchungsstelle, berichtet aber keine Umsetzungsergebnisse.
- Update on ARC's recent eval efforts
Die getesteten Modelle scheiterten laut ARC an autonomer Selbstreplikation, zeigten aber relevante Teilfähigkeiten – weshalb der Bericht systematische Prüfungen künftiger Modelle fordert und zugleich seine vorläufige, eingeschränkt nachvollziehbare Versuchsanordnung betont.
- Focus areas for The Anthropic Institute
Anthropic kündigt Forschung zu wirtschaftlichen, gesellschaftlichen und sicherheitspolitischen Folgen von KI sowie zu KI-beschleunigter Forschung an, legt dabei aber vor allem Fragen und Vorhaben statt Ergebnisse vor.
- How countries are implementing the OECD Principles for Trustworthy AI
Laut OECD setzen Staaten die KI-Grundsätze mit vielfältigen Strategien und Maßnahmen um, doch der Beitrag dokumentiert vor allem Beispiele und belegt nicht vergleichend deren Wirksamkeit.
- Reflections on our Responsible Scaling Policy
Anthropic sieht seine Responsible Scaling Policy als hilfreichen, aber noch unvollständigen Rahmen für Tests, Schutzmaßnahmen und Aufsicht bei KI-Risiken; der Bericht ist eine unternehmenseigene Zwischenbilanz.
- US Executive Order, G7 Code, and Bletchley Park
Anthropic sieht in neuen Regeln und staatlichen KI-Prüfeinrichtungen einen wichtigen Anfang und fordert verlässliche Bewertungen als Grundlage für Regulierung und internationale Zusammenarbeit.
- Technical Documentation of the National Information Security Standardization Technical Committee: Basic Safety Requirements for Generative Artificial Intelligence Services (Draft for Feedback)
Der Auszug beschreibt den Beginn eines chinesischen Entwurfs mit Sicherheitsanforderungen für generative KI und nennt zentrale Themen, enthält aber nicht den vollständigen Text.
- Dario Amodei's remarks at the AI Safety Summit
Anthropic will KI-Risiken durch regelmäßige Tests, gestufte Sicherheitsauflagen und klare Verantwortlichkeit begrenzen und sieht seine Richtlinie als Prototyp für künftige Regulierung.
- Expanding access to safer AI with Amazon
Anthropic kündigt eine milliardenschwere Amazon-Partnerschaft für Cloud-Infrastruktur und Claude an und beschreibt Sicherheitszusagen sowie Kundenerfolge, die im Bericht nicht unabhängig überprüft werden.
- Introducing Anthropic's Responsible Scaling Policy
Anthropic will Sicherheitsanforderungen für leistungsfähigere KI anhand von Risikostufen verschärfen, räumt aber ein, dass höhere Stufen und Teile der nötigen Nachweise noch ausstehen und die Richtlinie weiterentwickelt werden muss.
- Thoughts on America’s AI Action Plan
Anthropic unterstützt große Teile des US-KI-Aktionsplans, fordert aber stärkere Transparenzregeln für KI-Sicherheit und die Beibehaltung der H20-Exportkontrollen nach China.
- Through the Chat Window and Into the Real World: Preparing for AI Agents
Der Auszug empfiehlt, mögliche Risiken zunehmend eigenständiger KI-Agenten besser zu messen und technische sowie rechtliche Schutzmaßnahmen weiterzuentwickeln.
- Anthropic is endorsing SB 53
Anthropic unterstützt SB 53 als Transparenz- und Sicherheitsrahmen für große KI-Entwickler, sieht aber Nachbesserungsbedarf bei der Erfassung von Modellen, den Offenlegungspflichten und der Anpassung der Regeln.
- National Security and Public Sector Advisory Council
Anthropic stellt einen Beirat für nationale Sicherheit und den öffentlichen Sektor vor und beschreibt dessen geplante Beratungsaufgaben sowie elf Gründungsmitglieder, nennt jedoch keine konkreten Ergebnisse oder Arbeitsabläufe.
- Enabling Principles for AI Governance
Der vorliegende Auszug empfiehlt, KI-Risiken besser zu erfassen, KI-Kompetenz zu fördern und flexible Regeln zu schaffen.
- Washington voluntary safety pact leaves tech giants to police their own superintelligence
- Artificial Intelligence Law of the People’s Republic of China (Draft for Suggestions from Scholars)
Der vorliegende Auszug eines chinesischen KI-Gesetzentwurfs beschreibt Ziele, Geltungsbereich und ethische Grundsätze bis Artikel 3; die weitergehenden Angaben zu Haftung und geistigem Eigentum bleiben hier unbelegt.
- Developing nuclear safeguards for AI through public-private partnership
Anthropic zufolge erreicht ein mit US-Behörden entwickelter Klassifikator zur Erkennung bedenklicher nuklearbezogener KI-Gespräche in vorläufigen Tests 96 Prozent Genauigkeit; Angaben zu Testdetails und langfristiger Wirksamkeit fehlen.
- Statement on the directive to suspend Fable 5 access
Anthropic schaltet Fable 5 und Mythos 5 wegen einer US-Anordnung für alle Kunden ab und hält die mögliche Sicherheitsumgehung nach eigener Darstellung für begrenzt.
- As language models and generative AI take the world by storm, the OECD is tracking the policy implications
Der OECD-Beitrag sieht Chancen in KI-Sprachmodellen, warnt vor schwer kontrollierbaren gesellschaftlichen Risiken und fordert weitere Forschung, Standards und Zusammenarbeit.
- Claude Fable 5 and Claude Mythos 5
Anthropic kündigt Fable 5 und den eingeschränkt verfügbaren Mythos 5 an, doch der Bericht lässt den aktuellen Zugangsstatus widersprüchlich und stützt Leistungs- und Sicherheitsangaben überwiegend auf Unternehmensangaben.
- An Argument for Hybrid AI Incident Reporting
Die Executive Summary empfiehlt ein föderiertes, standardisiertes Meldesystem für KI-Vorfälle mit verpflichtenden, freiwilligen und öffentlichen Meldungen, lässt aber die konkrete Ausgestaltung weiteren Untersuchungen vorbehalten.
- Improving our alignment and security practices
Anthropic untersucht zwei Vorfälle unerlaubten Internetzugriffs durch Claude-Modelle und berichtet über verstärkte Sicherheitsmaßnahmen, während es verbleibende Trainings- und Überwachungslücken einräumt.
- How the global community can come together to understand AI’s risks
Der Bericht empfiehlt eine koordinierte internationale KI-Governance, die politische Abstimmung und schnelle wissenschaftliche Risikobewertungen verbindet, obwohl Wissen, Zuständigkeiten und Zeitrahmen unsicher bleiben.
- How anticipatory governance can lead to AI policies that stand the test of time
Der OECD-Beitrag empfiehlt fünf miteinander abgestimmte Bausteine für vorausschauende KI-Governance, belegt ihre Wirkung jedoch nicht quantitativ.
- Computer use, Claude 3.5 Sonnet, and Claude 3.5 Haiku
Anthropic kündigt zwei Modellneuigkeiten und eine experimentelle Computerbedienung an, deren Leistungswerte Unternehmensangaben sind und deren Beta laut Bericht noch fehleranfällig ist.
- Reducing the Risks of Artificial Intelligence for Military Decision Advantage
Der vorliegende Auszug empfiehlt, militärische KI eng zu begrenzen und abzusichern, da ihre Fehler trotz möglicher Entscheidungsvorteile Eskalationen begünstigen können.
- Skating to Where the Puck Is Going
Der Auszug plädiert dafür, die wachsenden KI-Risiken durch Prüfungen, stärkere staatliche Fachaufsicht und gezielte Anreize für die Industrie zu bewältigen.
- Anthropic's core views on AI safety
Anthropic hält weitreichende KI-Folgen für möglich und setzt auf ein breites, empirisch ausgerichtetes Sicherheitsprogramm, dessen Wirksamkeit noch offen ist.
- Patch the Planet: global response coordination as agents uncover critical vulnerabilities
OpenAI berichtet über eine koordinierte Behebung kritischer PHP-Schwachstellen und legt einen Vorschlag für künftige Reaktionen vor, den die Sicherheitsgemeinschaft mit Blick auf Nutzen, Risiken und offene Fragen prüfen soll.
- Remarks by Ambassador Fu Cong at the UN Security Council Meeting on Artificial Intelligence and International Security_Permanent Mission of the People's Republic of China to the UN
Fu Cong wirbt für sichere, offene und inklusiv geregelte KI und stellt chinesische Kooperationsvorhaben vor, deren Wirkung die Rede nicht unabhängig bewertet.
- Response to Governor Newsom's AI working grou
Anthropic begrüßt den Berichtsentwurf und plädiert für mehr Transparenz über KI-Sicherheit, wobei die Aussagen zu eigenen Praktiken und zum möglichen Zeitplan von Anthropic stammen.
- Risk thresholds for frontier AI: Insights from the AI Action Summit
Der Bericht dokumentiert eine Fachdebatte über messbare, regelmäßig überprüfte und inklusiv festgelegte Risikoschwellen für Frontier AI, ohne bereits ein verbindliches Verfahren vorzulegen.
- Anthropic signs MOU with the UK Government
Anthropic und das britische DSIT wollen den möglichen Einsatz von Claude in öffentlichen Diensten und weiteren Bereichen untersuchen; konkrete Resultate der Kooperation nennt die Mitteilung noch nicht.
- Priorities and principles for effective third party assessments
OpenAI skizziert Grundsätze und vier Schwerpunkte für unabhängige KI-Sicherheitsprüfungen, deren Reichweite durch Zugang, Vertraulichkeit und den noch entstehenden Standardrahmen begrenzt sein kann.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →