- Jailbreak-Tuning: Models Efficiently Learn Jailbreak Susceptibility
- AI Safety in China #24
Der Bericht zeigt wachsende chinesische Debatten über KI-Sicherheit, aber auch unterschiedliche Einschätzungen zu Risiken, Regulierung und ihrer politischen Priorität.
- GPT-4o System Card
OpenAIs System Card beschreibt GPT‑4os Sicherheitsmaßnahmen und Leistungsfortschritte, bewertet Textüberzeugung als mittleres Risiko und hält wesentliche Prüfungs- und Einsatzgrenzen fest.
- 10 Key Insights from Concordia AI’s “Frontier AI Risk Monitoring Platform”
Concordias Bericht sieht steigende Fähigkeiten und Risiken fortgeschrittener KI bei häufig unzureichenden Schutzmaßnahmen, wobei die Befunde aus eigenen Benchmarks stammen und die vorgelegte Darstellung keine unabhängige Prüfung enthält.
- Concordia AI: 2025 Mid-Year Impact Report
Concordia AI stellt zahlreiche eigene Beiträge zur internationalen KI-Sicherheit im ersten Halbjahr 2025 vor, ohne deren Wirkung unabhängig zu messen.
- World leaders, top AI companies set out plan for safety testing of frontier as first global AI Safety Summit concludes
Die Gipfel-Mitteilung beschreibt internationale Pläne für gemeinsame KI-Sicherheitstests und weitere Forschung, jedoch noch keine fertigen Standards oder konkreten Prüfergebnisse.
- Early lessons from evaluating frontier AI systems
Das AISI entwickelt mehrstufige unabhängige KI-Prüfungen, betont aber, dass deren Aussagekraft und die wissenschaftlichen Grundlagen noch Grenzen haben.
- Frontier Mitigations
- AISI Research Agenda | The AI Security Institute
Das AISI beschreibt eine veränderliche Forschungsagenda zu Risiken fortgeschrittener KI und betont, dass manche Details sensibel, Ergebnisse begrenzt und viele Vorhaben noch nicht abschließend sind.
- Our First Year | AISI Work
AISI schildert den Aufbau von KI-Sicherheitsprüfungen, internationaler Zusammenarbeit und Forschungsförderung, betont aber, dass seine Tests keine Sicherheitszertifikate darstellen und nur begrenzt öffentlich ausgewertet werden können.
- Exploring institutions for global AI governance
Ein Whitepaper skizziert vier mögliche Institutionen für globale KI-Governance, betont aber, dass ihre Umsetzung mit erheblichen offenen Fragen verbunden ist.
- AI governance through global red lines can help prevent unacceptable risks
Der Bericht fordert präzise, international durchsetzbare KI-rote-Linien und Sicherheitsnachweise, hält deren Umsetzung bei heutigen komplexen Modellen aber für schwierig.
- FMF Response: Request for Information on the Development of an AI Action Plan
- Details about METR's preliminary evaluation of DeepSeek-R1
METR fand bei DeepSeek-R1 keine starken Belege für wesentlich weiter reichende autonome Fähigkeiten als bei früheren Modellen, weist aber auf erhebliche Grenzen der vorläufigen Tests hin.
- Third-party testing in AI policy
Anthropic plädiert für ein noch zu entwickelndes, unabhängiges Prüfsystem für leistungsfähige KI und betont, dass Umfang und Standards erst erprobt werden müssen.
- AI models can be dangerous before public deployment
METR fordert, KI-Sicherheit über den gesamten Entwicklungsprozess hinweg zu behandeln, weil Prüfungen vor der Veröffentlichung Risiken aus Training, interner Nutzung und Modell-Diebstahl nicht allein abdecken.
- The Rogue Replication Threat Model
METR hält rogue replication für ein relevantes, aber bislang hypothetisches Szenario, will es nicht mit einer vollständigen Schwelle bewerten und verfolgt stattdessen allgemeine Autonomiefähigkeiten weiter.
- At the 20th Collective Study Session of the CCP Central Committee Politburo, Xi Jinping Stresses: Persist in Being Self-Reliant, Be Strongly Oriented Toward Applications, and Push the Orderly Development of Artificial Intelligence
Xis laut Xinhua wiedergegebene KI-Agenda verbindet technologische Eigenständigkeit und breite Anwendung mit Regulierung und internationaler Zusammenarbeit; unabhängige Belege zur Umsetzung enthält der Bericht nicht.
- Our approach to government and national security partnerships
OpenAI befürwortet defensive KI-Anwendungen in der nationalen Sicherheit unter demokratischer Kontrolle und verweist auf eigene Partnerschaften und Nutzungsgrenzen; die vollständigen Grundsätze sind im Bericht nicht abgedruckt.
- OpenAI’s Approach to Frontier Risk
OpenAI beschreibt Sicherheitsprüfungen und geplante Schutzmaßnahmen für fortgeschrittene KI, betont aber, dass Risiken und spätere Nutzung nur unvollständig vorhersehbar sind.
- Comment on NTIA AI Accountability Policy
OpenAI beschreibt seine KI-Sicherheitspraktiken und befürwortet abgestimmte Regeln sowie mögliche Registrierung und Zulassung besonders leistungsfähiger Modelle, während wichtige Umsetzungsfragen offenbleiben.
- Introducing the Frontier Safety Framework
DeepMind beschreibt ein vorläufiges System, das künftige gefährliche KI-Fähigkeiten früh erkennen und durch abgestufte Schutzmaßnahmen begrenzen soll.
- Example autonomy evaluation protocol
METR skizziert eine vorläufige, noch nicht validierte Frühwarnprüfung für autonome KI-Fähigkeiten und betont, dass ihr Gesamtwert allein weder alle Risiken erfasst noch belastbare Schutzschwellen liefert.
- Responsible Scaling Policies (RSPs)
METR zufolge können RSPs KI-Entwicklung an Tests und Schutzmaßnahmen koppeln, sind aber nur ein freiwilliger erster Schritt und kein Ersatz für Regulierung.
- Redeploying Claude Fable 5
Anthropic will Fable 5 nach Aufhebung der Exportkontrollen wieder weltweit anbieten und berichtet von verstärkten Schutzmaßnahmen sowie geplanten gemeinsamen Standards und Sicherheitstests.
- Taking a responsible path to AGI
DeepMind beschreibt Sicherheitsmaßnahmen für mögliche AGI, vor allem gegen Missbrauch und Fehlanpassung, lässt aber erkennen, dass wesentliche Risiken und offene Fragen bestehen.
- Reflections on our Responsible Scaling Policy
Anthropic sieht seine Responsible Scaling Policy als hilfreichen, aber noch unvollständigen Rahmen für Tests, Schutzmaßnahmen und Aufsicht bei KI-Risiken; der Bericht ist eine unternehmenseigene Zwischenbilanz.
- Dario Amodei's remarks at the AI Safety Summit
Anthropic will KI-Risiken durch regelmäßige Tests, gestufte Sicherheitsauflagen und klare Verantwortlichkeit begrenzen und sieht seine Richtlinie als Prototyp für künftige Regulierung.
- Introducing Anthropic's Responsible Scaling Policy
Anthropic will Sicherheitsanforderungen für leistungsfähigere KI anhand von Risikostufen verschärfen, räumt aber ein, dass höhere Stufen und Teile der nötigen Nachweise noch ausstehen und die Richtlinie weiterentwickelt werden muss.
- Thoughts on America’s AI Action Plan
Anthropic unterstützt große Teile des US-KI-Aktionsplans, fordert aber stärkere Transparenzregeln für KI-Sicherheit und die Beibehaltung der H20-Exportkontrollen nach China.
- Claude Fable 5 and Claude Mythos 5
Anthropic kündigt Fable 5 und den eingeschränkt verfügbaren Mythos 5 an, doch der Bericht lässt den aktuellen Zugangsstatus widersprüchlich und stützt Leistungs- und Sicherheitsangaben überwiegend auf Unternehmensangaben.
- 2028: Two scenarios for global AI leadership
Anthropic warnt in zwei hypothetischen Szenarien vor einem möglichen Verlust des US-Vorsprungs bei KI und empfiehlt strengere Kontrollen, Schutz vor Modell-Destillierung und den Export amerikanischer KI.
- Updating the Frontier Safety Framework
DeepMind verschärft seine Empfehlungen für KI-Sicherheit und beschreibt Prüfungen vor dem Einsatz kritischer Modelle, räumt aber offene Fragen zu Schwellenwerten, Wirksamkeit und dem Auftreten täuschender Fähigkeiten ein.
- AI and the Future of Disinformation Campaigns
Der vorliegende Auszug warnt, KI könne Desinformationskampagnen bereits verstärken und empfiehlt eine koordinierte Abwehr durch Technik, Plattformen, Forschung, Medien, Regierungen und informierte Öffentlichkeit.
- Remarks by Ambassador Fu Cong at the UN Security Council Meeting on Artificial Intelligence and International Security_Permanent Mission of the People's Republic of China to the UN
Fu Cong wirbt für sichere, offene und inklusiv geregelte KI und stellt chinesische Kooperationsvorhaben vor, deren Wirkung die Rede nicht unabhängig bewertet.
- Article 2: Scope | EU Artificial Intelligence Act
Artikel 2 legt den Anwendungsbereich des EU-KI-Gesetzes samt Sonderregeln und Ausnahmen fest.
- Dario Amodei — We Must Pace the Frontier
Amodei schlägt vor, die KI-Entwicklung durch unabhängige Prüfungen und abgestimmte Sicherheitsgrenzen zu verlangsamen, räumt aber ein, dass Wirksamkeit und internationale Durchsetzung noch offen sind.
- Article 53: Obligations for Providers of General-Purpose AI Models | EU Artificial Intelligence Act
Artikel 53 sieht Dokumentations-, Informations-, Urheberrechts- und Kooperationspflichten für Anbieter allgemeiner KI-Modelle vor, mit einer begrenzten Ausnahme für bestimmte quelloffene Modelle ohne systemische Risiken.
- U.S. Intervention in the UN Security Council Meeting on "Artificial Intelligence and International Security"
Kratsios’ Rede fordert nationale statt globale Steuerung von „Superintelligenz“ und setzt auf Einführung und Kompetenzaufbau; die politischen Aussagen werden im Bericht nicht unabhängig überprüft.
- 生成式人工智能服务管理暂行办法_中央网络安全和信息化委员会办公室
- An Alien Mind
Pachocki warnt, dass KI-Fähigkeiten schneller wachsen könnten als ihre verlässliche Ausrichtung und Überwachung, und fordert deshalb Sicherheitsgrenzen sowie internationale Abstimmung.
- The case for targeted regulation
Anthropic fordert flexible, überprüfbare und gezielte Regeln für fortgeschrittene KI, um ausgewählte schwere Risiken zu senken und unnötige Belastungen zu vermeiden.
- Global AI Governance Action Plan
- 生成式人工智能服务管理暂行办法_国务院部门文件_中国政府网
- https://www.whitehouse.gov/wp-content/uploads/2025/02/M-25-22-Driving-Efficient-Acquisition-of-Artificial-Intelligence-in-Government.pdf
- Hugging Face
Xiaomi beschreibt MiMo-V2.6-Pro-RL als großes multimodales Modell mit bereichsübergreifendem RL-Training, doch die präsentierten Benchmarkwerte sind Anbieterangaben und im Bericht nur begrenzt methodisch eingeordnet.
- AI’s potential futures: Mitigating risks, harnessing opportunities
Der OECD-Beitrag empfiehlt vorausschauende, inklusive KI-Politik, um mögliche Vorteile zu fördern und Risiken zu begrenzen, während die langfristigen Folgen ungewiss bleiben.
- Our principles
OpenAI formuliert fünf Prinzipien für eine möglichst breit nutzbringende AGI, erkennt dabei erhebliche Unsicherheit und Risiken an, liefert aber keine systematische Wirksamkeitsprüfung seiner Absichten.
- Charting a path to AI accountability
Anthropic fordert mehr standardisierte, risikobasierte und unabhängige KI-Prüfungen sowie vertrauliche Meldungen großer Trainingsläufe, räumt aber ein, dass wichtige Voraussetzungen erst geschaffen werden müssen.
- Open vs. closed AI: How behind are open models?
Der bereitgestellte Quelltext enthält den Hauptteil, aber nicht die Anhänge vollständig; der Bericht schätzt den Rückstand offener KI-Modelle auf etwa ein Jahr, während Effizienz und künftige Entwicklung unsicher bleiben.
- Donating another $20 million to Public First Action
Anthropic spendet nach eigenen Angaben weitere 20 Millionen Dollar an Public First Action, um eine politische Debatte über KI-Schutzmaßnahmen zu fördern.
- Frontier Safety Roadmap
- How do we govern the complex intersection between AI and cybersecurity?
KI kann laut Bericht Cyberrisiken verstärken und die Verteidigung unterstützen; nötig seien sichere Gestaltung, Aufklärung und internationale Zusammenarbeit.
- The United States works with domestic and international AI communities to establish frameworks that advance trustworthy AI for all
Die US-Regierung will laut Bericht KI durch Risikomanagement, Sicherheitsmaßnahmen und internationale Abstimmung vertrauenswürdiger gestalten; die Darstellung beschreibt vor allem Ziele und laufende Vorhaben, nicht deren unabhängig geprüfte Wirkung.
- Decree of the President of the Russian Federation on the Development of Artificial Intelligence in the Russian Federation
Russlands 2019 beschlossene KI-Strategie setzt bis 2030 Ziele für Forschung, Daten, Technik, Fachkräfte und Regulierung, doch der Bericht belegt nicht, ob diese erreicht wurden.
- 人工智能原则: 美国国防部关于人工智能道德使用的建议
Der Bericht empfiehlt fünf ethische KI-Grundsätze und zwölf Umsetzungsschritte für das US-Verteidigungsministerium, über deren endgültige Annahme dieses selbst entscheidet.
- WAIC Artificial Intelligence Security and Rule of Law Guidelines
Die Leitlinien schlagen Maßnahmen gegen technische, datenbezogene, rechtliche und soziale KI-Risiken vor, ohne deren Wirksamkeit zu belegen.
- Introducing GPT-5.5
OpenAI stellt GPT‑5.5 als leistungsfähigeres und effizienteres Modell für anspruchsvolle Computer- und Forschungsaufgaben vor, doch die Belege beruhen teils auf internen oder ausgewählten Tests und der Text enthält widersprüchliche Angaben zur API-Verfügbarkeit.
- OpenAI API
Der Beitrag von 2020 beschreibt OpenAIs API-Pläne für zugängliche Textgenerierung mit kontrolliertem Zugang, räumt Risiken wie Missbrauch und Verzerrungen ein und liefert keinen unabhängigen Wirksamkeitsnachweis.
- Introducing gpt-oss
OpenAI veröffentlicht zwei offene Mixture-of-Experts-Sprachmodelle und behauptet starke Benchmark- und Werkzeugleistungen bei lokalem Betrieb; die im Bericht genannten Leistungs- und Sicherheitsbefunde sind Anbieterangaben.
- An Alien Mind
Der OpenAI-Wissenschaftler Jakub Pachocki warnt, dass KI schneller leistungsfähiger werden könnte, als ihre Ausrichtung und Überwachung Schritt halten, und fordert deshalb Sicherheitsgrenzen und internationale Koordination.
- AI progress and recommendations
OpenAI erwartet rasante KI-Fortschritte und empfiehlt, ihre Chancen durch breite Zugänglichkeit zu nutzen und Risiken mit Aufsicht, gemeinsamer Sicherheitsarbeit und robuster Kontrolle zu begrenzen.
- Moving AI governance forward
Der Bericht beschreibt freiwillige, zeitlich an vergleichbare Regulierung gebundene Zusagen führender KI-Unternehmen für leistungsfähigere generative Modelle, darunter Sicherheitstests, Schutzmaßnahmen, Kennzeichnung und Transparenz.
- Our approach to AI safety
OpenAI schildert eigene Sicherheitsmaßnahmen für KI, räumt fortbestehende Risiken ein und präsentiert Verbesserungswerte, ohne sie im Bericht unabhängig überprüfen zu lassen.
- gpt-oss-120b & gpt-oss-20b Model Card
Der bereitgestellte Auszug beschreibt gpt-oss-Modelle und OpenAIs Sicherheitsprüfungen, denen zufolge gpt-oss-120b die genannten Schwellen für hohe Fähigkeiten nicht erreichte.
- GPT-2: 1.5B release
OpenAI veröffentlicht GPT‑2 mit 1,5 Milliarden Parametern und berichtet zugleich über mögliche missbräuchliche Nutzung, begrenzte Erkennung und offene Fragen zu Bias und verantwortungsvoller Veröffentlichung.
- OpenAI’s comment to the NTIA on open model weights
OpenAI befürwortet offene und kontrollierte KI-Veröffentlichungen, fordert je nach Modellrisiko abgestufte Prüfungen und hält flexible Politik angesichts einer noch jungen Risikowissenschaft für nötig.
- Planning for AGI and beyond
OpenAI beschreibt einen vorsichtigen und gesellschaftlich abgestimmten Weg zu AGI, räumt erhebliche Unsicherheit ein und kennzeichnet die Organisationsangaben des Beitrags als veraltet.
- Frontier AI regulation: Managing emerging risks to public safety
Der vorliegende Quelltext ist ein Auszug, der Regulierungsvorschläge für leistungsfähige KI-Modelle skizziert, darunter Sicherheitsprüfungen, Berichtspflichten und staatliche Aufsicht.
- Better language models and their implications
Der Bericht beschreibt GPT‑2 als leistungsfähiges, aber fehleranfälliges Sprachmodell und begründet mit möglichen Missbrauchsrisiken eine zunächst eingeschränkte, später gestufte Veröffentlichung.
- OpenAI o1 System Card
OpenAI beschreibt o1 als in vielen Sicherheitstests verbessert, stuft es aber wegen verbleibender Risiken insgesamt als mittleres Risiko ein und warnt, dass die Prüfungen mögliche Fähigkeiten nur unvollständig erfassen.
- GPT-2: 6-month follow-up
OpenAI veröffentlichte GPT‑2 mit 774 Millionen Parametern, während es Risiken, Erkennung und weitere Freigaben mit Forschungspartnern untersuchte und die Veröffentlichung des größeren Modells noch offenließ.
- Frontier Model Forum
Vier KI-Unternehmen kündigen ein Forum für Sicherheitsforschung, Standards und Informationsaustausch zu Frontier-Modellen an; die Quelle beschreibt Vorhaben, nicht deren Umsetzung oder Wirkung.
- Testimony before the U.S. Senate
Altman wirbt vor dem US-Senat für KI-Sicherheitsregeln und beschreibt OpenAIs Vorteile und Schutzmaßnahmen, räumt aber Fehler und Risiken ein; seine Angaben sind nicht unabhängig geprüft.
- Questions for the Record
OpenAI legt in den Antworten seine Vorschläge zu KI-Regeln und eigene Sicherheits-, Kreativ- und Kinderschutzmaßnahmen dar; der Bericht gibt dabei die Unternehmenssicht wieder, ohne deren Wirksamkeit unabhängig zu prüfen.
- Best practices for deploying language models
Der Bericht skizziert vorläufige Empfehlungen für Regeln, Schutzmaßnahmen, Transparenz und Zusammenarbeit beim Einsatz großer Sprachmodelle, ohne ihre Wirksamkeit empirisch nachzuweisen.
- Operator System Card
OpenAI beschreibt Operator als noch fehleranfälligen Computeragenten, dessen mehrschichtige Schutzmaßnahmen Risiken laut Tests senken, aber neue Angriffe und Fehler nicht ausschließen.
- OpenAI’s commitment to child safety: adopting safety by design principles
OpenAI sagt umfassendere Kinderschutzmaßnahmen für generative KI und jährliche Fortschrittsberichte zu, nennt aber keine konkreten Wirksamkeitsnachweise.
- Preparing for future AI capabilities in biology
OpenAI stellt Schutzpläne gegen möglichen biologischen Missbrauch leistungsfähiger KI vor, weist aber auf unsichere Risikobewertungen hin und liefert keine unabhängige Wirksamkeitsprüfung.
- How we think about safety and alignment
OpenAI setzt laut Bericht auf schrittweise Erprobung, mehrschichtige Schutzmaßnahmen, menschliche Kontrolle und gemeinsame Verantwortung, räumt jedoch erhebliche Unsicherheit und offene Wirksamkeitsfragen ein.
- OpenAI o1 System Card
OpenAI zufolge verbessert o1 viele Sicherheitsmesswerte, birgt aber in bestimmten Bereichen mittlere Risiken, und die Tests erfassen mögliche Gefahren nur begrenzt.
- https://arxiv.org/pdf/2102.02503
Eine Gesprächsrunde über GPT‑3 hob dessen Fähigkeiten und mögliche gesellschaftliche Risiken hervor, ließ aber zentrale Fragen zu Verständnis, Sicherheit und Folgen offen.
- gpt-oss-120b & gpt-oss-20b Model Card
Die Model Card berichtet über leistungsfähige offene Schlussfolgerungsmodelle mit benannten Sicherheitsgrenzen und kommt anhand der beschriebenen Tests zu dem Schluss, dass sie interne Schwellen für hohe Fähigkeiten in drei Risikobereichen nicht erreichen.
- Das Zeitfenster für KI-Richtlinien ist offen. Wir müssen handeln.
OpenAI drängt auf rasche KI-Sicherheitsregeln und erklärt, seine Schutzmaßnahmen mit den Fähigkeiten der Systeme weiterzuentwickeln.
- Unser Rahmen für Berichte über Modell-Fehlausrichtung
OpenAI veröffentlicht einen vorläufigen Offenlegungsrahmen und sechs Einzelfälle von Modell-Fehlausrichtung, die laut Unternehmen weder deren Häufigkeit noch das gesamte bekannte Spektrum abbilden.
- https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf
Der Bericht beschreibt RL- und Destillationsverfahren, mit denen DeepSeek laut den Autoren starke Schlussfolgerungs-Benchmarkwerte erreicht, nennt aber weiterhin Grenzen bei Lesbarkeit, Sprachen, Prompting und einigen praktischen Aufgaben.
- The Incident Report Is Becoming a Building Block of AI Governance
- On-Device AI Against Scams: Google DeepMind & MDDI
Laut Bericht soll ein lokal laufendes KI-System in Singapur Betrugsnachrichten erkennen und Nutzer warnen, doch konkrete Leistungskennzahlen werden nicht genannt.
- Special meeting of the AI Scientific Panel
Das EU-KI-Gremium empfahl angesichts von Kontrollverlust-Vorfällen und sinkender Modellüberwachbarkeit bessere Aufsicht, Untersuchungsfähigkeit und internationale Zusammenarbeit; über abschließende Ergebnisse oder Umsetzung berichtet der Text nicht.
- Operationalizing U.S.-China AI Incident Notification
- OpenAI and Anthropic Tell British Lawmakers: Regulate Us
- Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation
- Let The People Set The Pace Of Frontier AI
- Discovering and exploiting vulnerabilities in critical, real-world software with Claude
Anthropic berichtet, ein internes Claude-Modell habe mehrere kritische Schwachstellen zu Angriffsketten verbunden; die genannten Fälle seien behoben, doch der Beitrag bietet keine unabhängige Bewertung.
- AI Hacks Leave a Mess That AI Companies Aren’t Paying For
- When the Agent Is the Incident: NIST, NSA, and CISA's 10 Key Practices for SI Incident Response
- Securing our frontier model training environment
OpenAI beschreibt zusätzliche, mehrschichtige Schutzmaßnahmen und umfangreiche Agententests für seine Trainingsumgebungen, betont aber, dass die Abwehr gegen künftige Modelle fortlaufend geprüft werden müsse.
- Trump’s AI Safety ‘Accord’ Is a Fancy Pinky-Swear
- How To Give Everyday People A Say In AI Governance
- CAISI’s Assessment of Z.ai’s GLM-5.3 Cyber Capabilities
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →