- Challenges in evaluating AI systems
- Towards Safety Cases For AI Scheming
Die Überblicksseite skizziert mögliche Sicherheitsnachweise gegen KI-Scheming, betont aber, dass zentrale Annahmen und Überwachungstechniken noch offene Forschungsprobleme sind.
- Scientists Call for Global AI Safety Preparedness to Avert Catastrophic Risks
- Scientists Call For International Cooperation on AI Red Lines
- Vienna Alignment Workshop 2024
- NIST Expands AI Consortium’s Scope, Calls for New Members
- The UK AI Safety Summit: Our Recommendations
Apollo Research fordert gemeinsame KI-Sicherheitsregeln, Lebenszyklusprüfungen und aussagekräftige Bewertungen, warnt aber vor einer zu starken Orientierung am Rechenaufwand; der vorliegende Auszug endet vor dem Inhalt der Überschrift „OUR FINDINGS“.
- Information Sharing, Incident Reporting, and Incident Response for Frontier AI Risks
- Illusory Safety: Redteaming DeepSeek R1 and the Strongest Fine-Tunable Models of OpenAI, Anthropic, and Google
- London Alignment Workshop 2026
- Introducing the OpenAI Safety Bug Bounty program
OpenAI startet ein öffentliches Bug-Bounty-Programm für erhebliche KI-Sicherheits- und Missbrauchsrisiken; gewöhnliche Jailbreaks ohne belegte Schadenswirkung sind ausgeschlossen.
- San Diego Alignment Workshop 2025
- AlphaProteo generates novel proteins for biology and health research
Laut Google DeepMind entwarf AlphaProteo starke Binder für sieben von acht untersuchten Zielen, doch gegen TNFα scheiterte es und weitere Schritte sind nötig, bevor daraus praktische Anwendungen werden.
- Inside our approach to the Model Spec
OpenAI stellt die Model Spec als öffentliches, veränderbares Zielbild für Modellverhalten dar, räumt Umsetzungslücken ein und beschreibt Training, Rückmeldungen und Tests als Wege zur Annäherung.
- Sharing the latest Model Spec
OpenAI zufolge stärkt die neue Model-Spec-Fassung Anpassbarkeit und geistige Freiheit bei fortbestehenden Sicherheitsgrenzen; erste Tests zeigen Fortschritte, deren Bewertung und Weiterentwicklung aber noch offen sind.
- Post by @OPCW on X
- World leaders, top AI companies set out plan for safety testing of frontier as first global AI Safety Summit concludes
Die Gipfel-Mitteilung beschreibt internationale Pläne für gemeinsame KI-Sicherheitstests und weitere Forschung, jedoch noch keine fertigen Standards oder konkreten Prüfergebnisse.
- Early lessons from evaluating frontier AI systems
Das AISI entwickelt mehrstufige unabhängige KI-Prüfungen, betont aber, dass deren Aussagekraft und die wissenschaftlichen Grundlagen noch Grenzen haben.
- OpenAI’s Frontier Governance Framework
OpenAI kündigt ein öffentliches Governance Framework zu KI-Sicherheitsrisiken und regulatorischen Pflichten an; der Bericht nennt Themen und geplante Weiterentwicklung, bleibt aber eine knappe Übersicht.
- AISI Research Agenda | The AI Security Institute
Das AISI beschreibt eine veränderliche Forschungsagenda zu Risiken fortgeschrittener KI und betont, dass manche Details sensibel, Ergebnisse begrenzt und viele Vorhaben noch nicht abschließend sind.
- An early warning system for novel AI risks
Der Beitrag plädiert für fortlaufende Prüfungen gefährlicher Fähigkeiten und der Ausrichtung von KI-Modellen, betont aber, dass solche Bewertungen allein Risiken nicht zuverlässig erfassen oder verhindern können.
- Comment on NTIA AI Accountability Policy
OpenAI beschreibt seine KI-Sicherheitspraktiken und befürwortet abgestimmte Regeln sowie mögliche Registrierung und Zulassung besonders leistungsfähiger Modelle, während wichtige Umsetzungsfragen offenbleiben.
- Opinions on Strengthening the Governance of Science and Technology Ethics
Der Auszug skizziert Chinas geplante Governance für Wissenschaftsethik, doch konkrete Prüfregeln sind im bereitgestellten Text nicht enthalten.
- Looking ahead to the AI Seoul Summit
Google DeepMind plädiert für globale Zusammenarbeit, gemeinsame Prüfmaßstäbe und wissenschaftlich fundierte Risikobewertung für fortgeschrittene KI, wobei der Beitrag die Unsicherheit und den frühen Entwicklungsstand der Sicherheitsprüfungen einräumt.
- (Trial) Measures for Science and Technology Ethics Reviews
Nur ein Auszug liegt vor: Er skizziert Zweck, Anwendungsbereich und Grundsätze chinesischer Ethikprüfungen; die vollständigen Verfahren und übrigen Regelungen stehen laut Seite im PDF.
- (Trial) Measures for Science and Technology Ethics Reviews (Draft for Feedback)
Der Bericht ist nur ein Auszug eines Entwurfs von 2023, der ethische Prüfungen für risikobehaftete Forschung vorsieht; Einzelheiten des vollständigen Verfahrens fehlen.
- US Executive Order, G7 Code, and Bletchley Park
Anthropic sieht in neuen Regeln und staatlichen KI-Prüfeinrichtungen einen wichtigen Anfang und fordert verlässliche Bewertungen als Grundlage für Regulierung und internationale Zusammenarbeit.
- Anthropic is endorsing SB 53
Anthropic unterstützt SB 53 als Transparenz- und Sicherheitsrahmen für große KI-Entwickler, sieht aber Nachbesserungsbedarf bei der Erfassung von Modellen, den Offenlegungspflichten und der Anpassung der Regeln.
- 2026 Usage Policy update
Anthropic beschreibt eine ab 12. November 2026 geltende Richtlinienaktualisierung, die Regeln zu Täuschung, Wahlen, Waffen, Überwachung und Hochrisikoanwendungen präzisiert und laut Unternehmen meist keine Änderung der bisherigen Durchsetzung bedeutet.
- China, Biotechnology, and BGI
Der Bericht behauptet, dass Chinas staatliche Unterstützung BGI im Biotechnologiewettbewerb begünstigt, und fordert stärkere Daten-, Forschungs- und Industriepolitik, wobei die intransparenten Daten die Prüfung erschweren.
- AI for Science rare disease research grants
Anthropic fördert Grundlagenforschung und frühe Biotechprojekte zu seltenen genetischen Erkrankungen mit Claude-Guthaben und sieht KI als mögliche Hilfe, deren Nutzen jedoch durch Datenmangel und strukturelle Hürden begrenzt ist.
- Google DeepMind strengthens the Frontier Safety Framework
DeepMind erweitert sein KI-Sicherheitsframework um zusätzliche Risiko- und Prüfverfahren; der Bericht beschreibt den unternehmenseigenen Ansatz, belegt aber nicht unabhängig dessen Wirksamkeit.
- Sabotage evaluations for frontier models
- Recommendations to OSTP for the US AI Action Plan
Anthropic empfiehlt der US-Regierung sechs Maßnahmen zu Sicherheit, Exportkontrollen, Energie, Behördeneinsatz und wirtschaftlicher Vorbereitung auf leistungsfähige KI, deren baldiges Auftreten das Unternehmen prognostiziert.
- Dario Amodei — The Urgency of Interpretability
- A Shot of Resilience
Der vorliegende Auszug warnt vor Risiken durch ausländische Abhängigkeit und konzentrierte Impfstoffproduktion in den USA und empfiehlt mehr Schutz, Transparenz und Produktionsresilienz.
- Expanding access to Claude for government
Anthropic erweitert laut eigener Mitteilung den Behördenzugang zu Claude und erlaubt ausgewählten US-Stellen begrenzte Geheimdienstanwendungen unter fortgeltenden Richtlinien und ASL-2-Beschränkung.
- AI’s potential futures: Mitigating risks, harnessing opportunities
Der OECD-Beitrag empfiehlt vorausschauende, inklusive KI-Politik, um mögliche Vorteile zu fördern und Risiken zu begrenzen, während die langfristigen Folgen ungewiss bleiben.
- Our principles
OpenAI formuliert fünf Prinzipien für eine möglichst breit nutzbringende AGI, erkennt dabei erhebliche Unsicherheit und Risiken an, liefert aber keine systematische Wirksamkeitsprüfung seiner Absichten.
- AI Safety Assessment < \n Our Work AISI AI Safety Institute
Das Institut will nationale Risiken fortgeschrittener KI erkennen und Bewertungsrahmen sowie Infrastruktur für deren Prüfung entwickeln; konkrete Ergebnisse nennt der Bericht nicht.
- Anthropic is donating $20 million to Public First Action
Anthropic will 20 Millionen US-Dollar an eine parteiübergreifende Organisation für KI-Politik spenden und begründet dies mit dem Bedarf an Schutzregeln, Transparenz und bundesweiter Regulierung.
- Announcements
Der vorliegende Auszug listet Anthropics Meldungen zu Börsengang, Claude-Modellen, Forschung und Partnerschaften auf, bietet aber nur kurze Unternehmensbeschreibungen statt vollständiger Berichte oder unabhängiger Belege.
- GPT-4
OpenAI zufolge ist GPT‑4 in vielen Tests leistungsfähiger als GPT‑3.5, bleibt aber fehleranfällig und erfordert bei wichtigen Anwendungen angemessene Kontrolle.
- Update on the OpenAI Foundation
Die OpenAI Foundation kündigt mindestens eine Milliarde US-Dollar für mehrere KI- und Gemeinwohlprogramme an; der Bericht schildert Pläne, noch keine nachgewiesenen Ergebnisse.
- Viral Families and Disease X: A Framework for U.S. Pandemic Preparedness Policy
Der vorliegende Auszug empfiehlt den USA, sieben Virusfamilien vorausschauend zu erforschen und Gegenmaßnahmen sowie deren Lieferketten zu stärken, um besser auf künftige Pandemien vorbereitet zu sein.
- Basic safety requirements for AI risk management
Der Bericht fordert strenge, verbindliche KI-Sicherheitsregeln, weil Risiken laut Autor schwer messbar und zentrale Eigenschaften wie Interpretierbarkeit, Begrenzbarkeit und Korrigierbarkeit noch nicht zuverlässig gewährleistet sind.
- New Chinese Ambitions for 'Strategic Emerging Industries,' Translated
Chinesische Leitlinien von 2020 schlagen Förderung für acht Zukunftsbranchen und Industriecluster vor, belegen aber weder Umsetzung noch Wirkung.
- Project to Strengthen Development of the Defense Technology Industry at the Grassroots Level: Guidelines for Basic Research and Cutting-Edge Technology Projects (2018)
SASTINDs Richtlinien von 2018 benennen sechs verteidigungsbezogene Forschungsfelder und regeln dafür Förderprioritäten, Antragsbedingungen und Zuschüsse, berichten aber nicht über erzielte Projektergebnisse.
- National 13th Five-Year Plan for the Development of Strategic Emerging Industries
Chinas Plan von 2016 setzt umfassende Ziele für den Ausbau strategischer Zukunftsbranchen, beschreibt aber keine unabhängige Bilanz ihrer späteren Umsetzung.
- OpenAI Research
Der Index listet OpenAI-Forschungsmeldungen und deren Kurzbehauptungen auf, ohne genug Details für eine unabhängige Bewertung zu geben.
- Introducing GPT-Rosalind-5.5
OpenAI berichtet über ein verbessertes, kontrolliert verfügbares GPT‑Rosalind für Life-Sciences-Forschung und nennt eigene Benchmarkgewinne, deren praktische Wirkung der Text nicht unabhängig belegt.
- Making AI work for everyone, everywhere: our approach to localization
OpenAI will KI lokal anpassen, ohne laut Bericht Sicherheitsregeln und die Ausgewogenheit der Fakten aufzugeben.
- Advancing the next era of national science
OpenAI sagt Unterstützung für die US-amerikanische Genesis-Forschungsmission zu und beschreibt erwartete KI-Anwendungen, ohne bereits erzielte Wirkungen unabhängig zu belegen.
- Our commitment to community safety
OpenAI schildert, wie ChatGPT Gewalt verhindern und Risiken prüfen soll, nennt im Bericht jedoch keine konkreten Wirksamkeitszahlen oder unabhängigen Prüfergebnisse.
- Testimony before the U.S. Senate
Altman wirbt vor dem US-Senat für KI-Sicherheitsregeln und beschreibt OpenAIs Vorteile und Schutzmaßnahmen, räumt aber Fehler und Risiken ein; seine Angaben sind nicht unabhängig geprüft.
- GPT-5.5 Instant System Card
Der Auszug berichtet von einer neuen „High capability“-Einstufung für GPT‑5.5 Instant in drei Vorbereitungsbereichen, liefert jedoch keine Details zu Schutzmaßnahmen oder Prüfergebnissen.
- How we think about safety and alignment
OpenAI setzt laut Bericht auf schrittweise Erprobung, mehrschichtige Schutzmaßnahmen, menschliche Kontrolle und gemeinsame Verantwortung, räumt jedoch erhebliche Unsicherheit und offene Wirksamkeitsfragen ein.
- Why Claude Fable 5 Keeps Silently Switching You to Opus 4.8 — and What Actually Triggers It
Der Artikel behauptet, dass Sicherheitsfilter Fable-5-Sitzungen teils wegen harmloser Inhalte dauerhaft auf Opus 4.8 umstellen, und empfiehlt getrennte Gespräche sowie gespeicherte Notizen als praktische Gegenmaßnahmen.
- China and the United States Reach Eight Deliverables and Understandings
- Operationalizing U.S.-China AI Incident Notification
- When the Agent Is the Incident: NIST, NSA, and CISA's 10 Key Practices for SI Incident Response
- Anthropic update on independent evaluators
Anthropic gibt sechs METR-Prüfern begrenzten internen Zugang und beschreibt abgestufte externe Prüfpartnerschaften, bei denen Veröffentlichung möglich ist, aber bestimmte Informationen geschwärzt werden können.
- Post by @SanghaDr on X
- China AI Export Controls: 2T Models and Agents Listed
China plant laut dem Bericht Exportkontrollen für bestimmte KI-Technologien; der Katalog ist noch ein Entwurf, und die Nutzung über APIs soll davon grundsätzlich nicht erfasst sein.
- https://www.nist.gov/system/files/documents/2026/10/16/Key_Practices_for_Incident_Readiness_and_Response_in_Super_Intelligence%20_Training_and_Evaluation.pdf
- Anthropic IPO Disclosure of ‘Existential’ AI Risk Sets Standard
Der Autor meint, Unternehmen sollten konkrete, wesentliche KI-Risiken geschäftsbezogen offenlegen, da Anthropics Prospekt den erwarteten Maßstab dafür verschärfen könnte.
- Statement by Permanent Representative Vassily Nebenzia at a UNSC Open Debate on “Emerging Technologies and Maritime Security: Implications for International Peace and Security”
Nebensja fordert Gespräche über neue Technologien und maritime Sicherheit in Fachgremien und erhebt dabei nicht unabhängig überprüfte Vorwürfe gegen mehrere Staaten.
- 29.10.2026. Statement on Emerging Technology and Security
Dänemark warnt vor dem Missbrauch neuer Technologien gegen die Schifffahrt und fordert menschliche Kontrolle, internationale Zusammenarbeit sowie die Wahrung des Völkerrechts.
- What a US-China AI Safety Channel Needs
Der Auszug sagt, ein US-chinesischer KI-Sicherheitskanal brauche Informationen, die Unternehmen derzeit nicht verlässlich melden müssen.
- Community safety report and new protections for teens
OpenAI kündigt neue Gewaltpräventionsmaßnahmen und einen Sicherheitsbericht für 2027 an; ihre Wirksamkeit ist in diesem Artikel noch nicht belegt.
- Joint statement: Canada and the European Union building together an Alliance for the Future
- Anthropic Usage Policy Update: What Changes on Nov 12
Der Bericht fasst Anthropic-Änderungen an Nutzungsregeln, Durchsetzung und Umgang mit markierten Chats zusammen und enthält zusätzlich nicht unabhängig geprüfte Datenschutzangaben des Anbieters Morse.
- Information for Frontier Developers
- AI firms sign Macron’s Paris Call, but safety group says it lacks teeth
Der Paris Call enthält Sicherheitszusagen für fortgeschrittene KI, bleibt laut der mitunterzeichnenden CeSIA jedoch bei Risikoschwellen, Prüfzugang, Behördenbefugnissen und Fristen lückenhaft.
- Coalition of Nonprofits Files Landmark Lawsuit to Stop Development of Advanced AI Systems at Anthropic, Google, Meta, OpenAI, and SpaceXSI that Proliferate Bioweapons and Cyberattacks
- Just the Docs: Nonprofits Sue Five Frontier AI Companies to Freeze Development, Citing Cyberattack and Catastrophic Risks
- Konzept zur Prüfung von Hochleistungs-KI vom TÜV-Verband und TÜV AI.Lab
- Nonprofits sue five AI developers to halt more capable models
Vier Organisationen verlangen vor Gericht eine Pause für leistungsfähigere KI, gestützt auf behauptete Risiken und Kontrollverluste; entschieden ist darüber laut Bericht noch nicht.
- Federal AI Testing Unit CAISSI: Staff Asked to Report Informally to White House, AP Says
- IT Rules 2026: AI Content Labels, Deepfakes and Takedowns
- Open call for guest investigators in the life sciences
Anthropic lädt Forschungsgruppen zu kurzen, kostenfrei unterstützten Claude-Projekten in den Lebenswissenschaften ein, die vorläufige Ergebnisse liefern und gemeinsam veröffentlicht werden sollen.
- Post by @agounardes on X
- OpenAI Red Teaming Network
OpenAI beschreibt ein externes Fachleutenetzwerk für Sicherheitsprüfungen von KI, dessen Bewerbungsphase am 1. Dezember 2023 endete.
- Our Norms on Security, Science Communication and Conflicts of Interest
Apollo Research beschreibt eigene Standards für Interessenkonflikte, sichere Forschung und wissenschaftliche Kommunikation, belegt im Bericht aber nicht unabhängig deren Umsetzung.
- Security at Apollo Research
Apollo Research will KI-Prüfungen und Veröffentlichungen nach eigenen Angaben durch begrenzten Zugang, abgestufte Freigaben und fallweise Risikoabwägung absichern; die tatsächliche Wirksamkeit dieser Regeln wird im Bericht nicht unabhängig belegt.
- Paris AI Security Forum 2025
- Drawing-up a General-Purpose AI Code of Practice
Der Bericht beschreibt den breit angelegten Prozess zur Ausarbeitung des freiwilligen GPAI-Kodex und einer Vorlage für Trainingsdaten-Zusammenfassungen, erläutert aber die konkreten Kodexregeln nicht ausführlich.
- Updating our Model Spec with teen protections
OpenAI beschreibt neue U18-Leitlinien und weitere Schutzmaßnahmen für ChatGPT, deren Wirksamkeit der Bericht nicht belegt.
- Singapore Alignment Workshop 2025
- Leading AI Companies Join White House's Voluntary Commitment to Enhance AI Safety
CAIS unterstützt freiwillige Sicherheitszusagen von sieben KI-Unternehmen und hofft, dass sie in verbindliche Regeln münden.
- Computational predictions of protein structures associated with COVID-19
DeepMind stellte vorläufige AlphaFold-Strukturvorhersagen für SARS-CoV-2-Proteine bereit und betonte, dass sie nur teilweise überprüft und nicht als gesichert anzusehen sind.
- AlphaGenome: AI for better understanding the genome
AlphaGenome sagt vielfältige Folgen von DNA-Sequenzen und Varianten voraus, ist laut Bericht aber ein Forschungsmodell mit Grenzen und nicht für klinische Anwendungen validiert.
- Boundary Point Jailbreaking: A new way to break the strongest AI defences
Laut AISI konnte das automatisierte Verfahren BPJ in Tests Schutzklassifikatoren von Anthropic und OpenAI umgehen; der Bericht empfiehlt deshalb mehrschichtige Abwehr und Überwachung über mehrere Interaktionen.
- Jailbreak-Tuning: Models Efficiently Learn Jailbreak Susceptibility
- Developing Enterprise Frontier Safeguards with our customers
EFS soll laut Anthropic Sicherheitsüberwachung mit kundeneigener Datenkontrolle verbinden; die Einführung ist geplant, und der Bericht liefert keine unabhängigen Leistungsnachweise.
- Introducing gpt-oss-safeguard
gpt-oss-safeguard soll anpassbare, begründete Sicherheitsklassifizierungen ermöglichen, doch OpenAI zufolge bleiben Leistungsvorteile je nach Test unterschiedlich und der hohe Rechenaufwand eine wesentliche Grenze.
- Annual Letter from the Executive Director
- Principles for safeguard evaluation
Das damalige AI Safety Institute schlägt einen fünfstufigen, regelmäßig zu erneuernden Bewertungsprozess für Schutzmaßnahmen gegen missbräuchliche KI-Nutzung vor, präsentiert dabei aber Empfehlungen und keine konkreten Prüfergebnisse.
- Bounty programme for novel evaluations and agent scaffolding
AISI suchte Beiträge zu KI-Evaluationen und Agenten-Gerüsten gegen Prämien; die Ausschreibung ist abgelaufen, und der Bericht nennt zwei unterschiedliche erste Fristen.
- Ministry of Commerce Notice 2025 No. 61: Announcement of the Decision to Implement Controls on Exports of Rare Earth-Related Items to Foreign Countries
Der Auszug beschreibt ausgeweitete chinesische Exportgenehmigungen für bestimmte seltene-Erden-Güter, doch der vollständige Regelungstext und die Anhänge liegen hier nicht vor.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →