- AI in 2025: Faster Progress, Harder Problems
- Leading AI Companies Join White House's Voluntary Commitment to Enhance AI Safety
CAIS unterstützt freiwillige Sicherheitszusagen von sieben KI-Unternehmen und hofft, dass sie in verbindliche Regeln münden.
- Technical Innovations for AI Policy 2025
- Managing Advanced Cyber Risks in Frontier AI Frameworks
- AI Safety in China #26
Chinas KI-Sicherheitsarbeit gewinnt laut Bericht an Breite, doch bei Standards, Tests, Gesetzgebung und internationaler Wirkung sind zentrale Ergebnisse noch ungewiss.
- Responding to the next frontier of critical cyber capabilities
OpenAI kann nach vorläufigen Tests kritische Cyberfähigkeiten bei Astra nicht ausschließen und verstärkt deshalb Sicherheitsmaßnahmen; ein bestätigter Nachweis für das Erreichen der Schwelle wird nicht vorgelegt.
- AI Safety in China #24
Der Bericht zeigt wachsende chinesische Debatten über KI-Sicherheit, aber auch unterschiedliche Einschätzungen zu Risiken, Regulierung und ihrer politischen Priorität.
- Introducing the FMF’s Technical Report Series on Frontier AI Frameworks
- Concordia AI CEO Brian Tse on The Cognitive Revolution Podcast
Concordia AI skizziert Themen eines Podcastgesprächs über Chinas KI und verweist für die vollständige Diskussion auf die Podcastfolge.
- Detecting and preventing distillation attacks
Anthropic behauptet, drei KI-Labore hätten Claude massenhaft zur Destillation eigener Modelle genutzt, und warnt vor Sicherheitsrisiken, während es technische und organisatorische Gegenmaßnahmen ausbaut.
- Responsible Scaling Policy Version 3.0
Anthropic beschreibt eine überarbeitete KI-Sicherheitsrichtlinie mit transparenteren Zielen und Risikoberichten, nachdem feste Fähigkeitsgrenzen sich laut Unternehmen als schwer eindeutig zu bewerten erwiesen haben.
- Concordia AI: 2025 Mid-Year Impact Report
Concordia AI stellt zahlreiche eigene Beiträge zur internationalen KI-Sicherheit im ersten Halbjahr 2025 vor, ohne deren Wirkung unabhängig zu messen.
- Confidence-Building Measures for Artificial Intelligence
Der Auszug nennt sechs mögliche vertrauensbildende Maßnahmen gegen Sicherheitsrisiken von Foundation Models, liefert aber keine Details zu ihrer Umsetzung oder Wirksamkeit.
- UK and France to deepen research and AI links following Horizon association
Großbritannien und Frankreich kündigten neue Forschungs- und KI-Sicherheitskooperationen an, deren konkrete Umsetzung und Ergebnisse im Bericht offenbleiben.
- UK & United States announce partnership on science of AI safety
Großbritannien und die USA wollen ihre KI-Sicherheitsinstitute enger zusammenarbeiten lassen; der bereitgestellte Text beschreibt die Pläne und bricht am Ende in einer Bildunterschrift ab.
- Conference on frontier AI safety frameworks
Der Bericht kündigt eine Konferenz und ihren Themenaufruf zu Sicherheitsrahmen für fortgeschrittene KI an, berichtet jedoch keine Ergebnisse.
- Early lessons from evaluating frontier AI systems
Das AISI entwickelt mehrstufige unabhängige KI-Prüfungen, betont aber, dass deren Aussagekraft und die wissenschaftlichen Grundlagen noch Grenzen haben.
- Preliminary Taxonomy of AI-Bio Misuse Mitigations
- Frontier AI Biosafety Thresholds
- Frontier Mitigations
- AI Safety Institute approach to evaluations
AISI berichtet über frühe Tests, die mögliche Risiken fortgeschrittener KI aufzeigen, betont aber, dass diese vorläufig sind und keine umfassende Sicherheitsbewertung darstellen.
- Risk Taxonomy and Thresholds for Frontier AI Frameworks
- AISI Research Agenda | The AI Security Institute
Das AISI beschreibt eine veränderliche Forschungsagenda zu Risiken fortgeschrittener KI und betont, dass manche Details sensibel, Ergebnisse begrenzt und viele Vorhaben noch nicht abschließend sind.
- What should companies share about risks from frontier AI models?
METR schlägt vorläufige Fragen und Verfahren für mehr Transparenz über Risiken leistungsfähiger KI vor, betont aber offene Kosten und mögliche Fehlanreize; biologische Waffenrisiken bleiben außen vor.
- Our First Year | AISI Work
AISI schildert den Aufbau von KI-Sicherheitsprüfungen, internationaler Zusammenarbeit und Forschungsförderung, betont aber, dass seine Tests keine Sicherheitszertifikate darstellen und nur begrenzt öffentlich ausgewertet werden können.
- Exploring institutions for global AI governance
Ein Whitepaper skizziert vier mögliche Institutionen für globale KI-Governance, betont aber, dass ihre Umsetzung mit erheblichen offenen Fragen verbunden ist.
- Guidelines on obligations for General-Purpose AI providers
Die Kommission legt unverbindlich aus, welche Dokumentations-, Urheberrechts-, Transparenz- und Risikopflichten Anbieter allgemeiner KI-Modelle nach dem EU-KI-Gesetz erfüllen sollen.
- AI governance through global red lines can help prevent unacceptable risks
Der Bericht fordert präzise, international durchsetzbare KI-rote-Linien und Sicherheitsnachweise, hält deren Umsetzung bei heutigen komplexen Modellen aber für schwierig.
- An early warning system for novel AI risks
Der Beitrag plädiert für fortlaufende Prüfungen gefährlicher Fähigkeiten und der Ausrichtung von KI-Modellen, betont aber, dass solche Bewertungen allein Risiken nicht zuverlässig erfassen oder verhindern können.
- FMF Response: Request for Information on the Development of an AI Action Plan
- Issue Brief: Thresholds for Frontier AI Safety Frameworks
- METR’s GPT-4.5 pre-deployment evaluations
METRs vorläufige Tests ordnen GPT-4.5 zwischen GPT-4o und o1 ein, schließen große Risiken aber nicht aus; der bereitgestellte Auszug ist am Ende abgeschnitten.
- Singapore office and government MOU
Anthropic eröffnet ein Büro in Singapur und kündigt mit der Regierung Kooperation zu sicherer und verantwortungsvoller KI sowie weitere lokale KI-Anwendungen an.
- General-purpose AI obligations under the AI Act | Shaping Europe’s digital future
Die Seite überblickt GPAI-Pflichten nach dem KI-Gesetz, darunter zusätzliche Vorgaben für systemische Risiken, deren Schwellenwert laut Bericht überprüft wird.
- Frontier threats red teaming for AI safety
Anthropic zufolge zeigen Tests mögliche, derzeit noch begrenzte biologische Missbrauchsrisiken leistungsfähiger KI, doch die sensiblen Einzelergebnisse und eine unabhängige Bestätigung legt der Bericht nicht vor.
- Issue Brief: Components of Frontier AI Safety Frameworks
- Introducing the Frontier Model Forum
- AI Safety, Ethics, and Society
Der Beitrag stellt ein Lehrbuch und einen Onlinekurs vor, die technische, ethische und gesellschaftliche Fragen der KI-Sicherheit verständlich behandeln sollen, ohne ihre Wirksamkeit zu belegen.
- Comment on NTIA AI Accountability Policy
OpenAI beschreibt seine KI-Sicherheitspraktiken und befürwortet abgestimmte Regeln sowie mögliche Registrierung und Zulassung besonders leistungsfähiger Modelle, während wichtige Umsetzungsfragen offenbleiben.
- Issue Brief: What is red teaming?
- Frontier AI Taskforce: second progress report
Die Taskforce meldet Fortschritte beim Aufbau britischer KI-Sicherheitsforschung und warnt vor möglichen Risiken leistungsfähigerer Modelle, während viele der beschriebenen Maßnahmen noch geplant oder im Aufbau sind.
- AI Safety Institute: third progress report
Das britische AI Safety Institute baut sein Team und internationale Zusammenarbeit aus und hat KI-Sicherheitstests begonnen, berichtet aber noch keine Testergebnisse.
- Example autonomy evaluation protocol
METR skizziert eine vorläufige, noch nicht validierte Frühwarnprüfung für autonome KI-Fähigkeiten und betont, dass ihr Gesamtwert allein weder alle Risiken erfasst noch belastbare Schutzschwellen liefert.
- Shaping Europe’s digital future
Der vorliegende Auszug fasst den risikobasierten Ansatz, abgestufte Pflichten für GPAI-Modelle und die Vollzugsstruktur des KI-Gesetzes zusammen, ohne konkrete Anwendungsdaten zu nennen.
- Assessing potential future artificial intelligence risks, benefits and policy imperatives
Der vorliegende Auszug fasst OECD-Prioritäten zu KI-Nutzen, Risiken und Politik zusammen, liefert aber weder den vollständigen Bericht noch dessen detaillierte Ergebnisse.
- Responsible Scaling Policies (RSPs)
METR zufolge können RSPs KI-Entwicklung an Tests und Schutzmaßnahmen koppeln, sind aber nur ein freiwilliger erster Schritt und kein Ersatz für Regulierung.
- Redeploying Claude Fable 5
Anthropic will Fable 5 nach Aufhebung der Exportkontrollen wieder weltweit anbieten und berichtet von verstärkten Schutzmaßnahmen sowie geplanten gemeinsamen Standards und Sicherheitstests.
- Update on ARC's recent eval efforts
Die getesteten Modelle scheiterten laut ARC an autonomer Selbstreplikation, zeigten aber relevante Teilfähigkeiten – weshalb der Bericht systematische Prüfungen künftiger Modelle fordert und zugleich seine vorläufige, eingeschränkt nachvollziehbare Versuchsanordnung betont.
- Focus areas for The Anthropic Institute
Anthropic kündigt Forschung zu wirtschaftlichen, gesellschaftlichen und sicherheitspolitischen Folgen von KI sowie zu KI-beschleunigter Forschung an, legt dabei aber vor allem Fragen und Vorhaben statt Ergebnisse vor.
- Reflections on our Responsible Scaling Policy
Anthropic sieht seine Responsible Scaling Policy als hilfreichen, aber noch unvollständigen Rahmen für Tests, Schutzmaßnahmen und Aufsicht bei KI-Risiken; der Bericht ist eine unternehmenseigene Zwischenbilanz.
- US Executive Order, G7 Code, and Bletchley Park
Anthropic sieht in neuen Regeln und staatlichen KI-Prüfeinrichtungen einen wichtigen Anfang und fordert verlässliche Bewertungen als Grundlage für Regulierung und internationale Zusammenarbeit.
- Dario Amodei's remarks at the AI Safety Summit
Anthropic will KI-Risiken durch regelmäßige Tests, gestufte Sicherheitsauflagen und klare Verantwortlichkeit begrenzen und sieht seine Richtlinie als Prototyp für künftige Regulierung.
- Washington voluntary safety pact leaves tech giants to police their own superintelligence
- Statement on the directive to suspend Fable 5 access
Anthropic schaltet Fable 5 und Mythos 5 wegen einer US-Anordnung für alle Kunden ab und hält die mögliche Sicherheitsumgehung nach eigener Darstellung für begrenzt.
- Comment on BIS Request for Information
Die CSET-Autoren befürworten zunächst IaaS-Kundenprüfungen und empfehlen, KI-Überwachung klarer zu begründen und international abzustimmen.
- How the global community can come together to understand AI’s risks
Der Bericht empfiehlt eine koordinierte internationale KI-Governance, die politische Abstimmung und schnelle wissenschaftliche Risikobewertungen verbindet, obwohl Wissen, Zuständigkeiten und Zeitrahmen unsicher bleiben.
- How anticipatory governance can lead to AI policies that stand the test of time
Der OECD-Beitrag empfiehlt fünf miteinander abgestimmte Bausteine für vorausschauende KI-Governance, belegt ihre Wirkung jedoch nicht quantitativ.
- Reducing the Risks of Artificial Intelligence for Military Decision Advantage
Der vorliegende Auszug empfiehlt, militärische KI eng zu begrenzen und abzusichern, da ihre Fehler trotz möglicher Entscheidungsvorteile Eskalationen begünstigen können.
- Updating the Frontier Safety Framework
DeepMind verschärft seine Empfehlungen für KI-Sicherheit und beschreibt Prüfungen vor dem Einsatz kritischer Modelle, räumt aber offene Fragen zu Schwellenwerten, Wirksamkeit und dem Auftreten täuschender Fähigkeiten ein.
- Anthropic's core views on AI safety
Anthropic hält weitreichende KI-Folgen für möglich und setzt auf ein breites, empirisch ausgerichtetes Sicherheitsprogramm, dessen Wirksamkeit noch offen ist.
- Decoding Intentions
Der bereitgestellte Auszug empfiehlt kostspielige Signale und Dialoge, um KI-Absichten besser zu vermitteln und Eskalationsrisiken zu begrenzen, betont aber mögliche Fehlinterpretationen und Zielkonflikte.
- Previewing GPT-5.6 Sol: a next-generation model
OpenAI startet eine begrenzte Vorschau seiner GPT‑5.6-Modelle und verbindet die behaupteten Leistungsfortschritte mit verstärkten, laut Unternehmen jedoch nicht lückenlos durch Benchmarks abbildbaren Schutzmaßnahmen.
- Article 55: Obligations of Providers of General-Purpose AI Models with Systemic Risk | EU Artificial Intelligence Act
Artikel 55 verpflichtet laut Bericht Anbieter von KI-Modellen mit systemischen Risiken zu Risikoprüfung, Vorfallsmeldung und Cybersicherheit und regelt mögliche Konformitätsnachweise sowie Vertraulichkeit.
- Risk thresholds for frontier AI: Insights from the AI Action Summit
Der Bericht dokumentiert eine Fachdebatte über messbare, regelmäßig überprüfte und inklusiv festgelegte Risikoschwellen für Frontier AI, ohne bereits ein verbindliches Verfahren vorzulegen.
- Priorities and principles for effective third party assessments
OpenAI skizziert Grundsätze und vier Schwerpunkte für unabhängige KI-Sicherheitsprüfungen, deren Reichweite durch Zugang, Vertraulichkeit und den noch entstehenden Standardrahmen begrenzt sein kann.
- Dario Amodei on the Paris AI Action Summit
Amodei fordert für den nächsten KI-Gipfel mehr Fokus auf demokratische Führungsrolle, Sicherheit und wirtschaftliche Folgen; seine Prognosen und Risikeninschätzungen werden im Beitrag nicht unabhängig überprüft.
- An Alien Mind
Pachocki warnt, dass KI-Fähigkeiten schneller wachsen könnten als ihre verlässliche Ausrichtung und Überwachung, und fordert deshalb Sicherheitsgrenzen sowie internationale Abstimmung.
- Dario Amodei — The Urgency of Interpretability
- The case for targeted regulation
Anthropic fordert flexible, überprüfbare und gezielte Regeln für fortgeschrittene KI, um ausgewählte schwere Risiken zu senken und unnötige Belastungen zu vermeiden.
- Global AI Governance Action Plan
- Our position on open-weights models
Anthropic lehnt ein pauschales Verbot offener KI-Gewichte ab und plädiert für Chipkontrollen, Maßnahmen gegen industrielle Destillation und verpflichtende Tests leistungsfähiger Modelle.
- Our principles
OpenAI formuliert fünf Prinzipien für eine möglichst breit nutzbringende AGI, erkennt dabei erhebliche Unsicherheit und Risiken an, liefert aber keine systematische Wirksamkeitsprüfung seiner Absichten.
- Charting a path to AI accountability
Anthropic fordert mehr standardisierte, risikobasierte und unabhängige KI-Prüfungen sowie vertrauliche Meldungen großer Trainingsläufe, räumt aber ein, dass wichtige Voraussetzungen erst geschaffen werden müssen.
- Australia and Anthropic sign AI safety MOU
Anthropic meldet eine KI-Sicherheitsvereinbarung mit Australien und Förderzusagen für Forschung, wobei der Bericht vor allem Unternehmenspläne und keine unabhängig bestätigten Ergebnisse enthält.
- Deepening AI Safety Research with UK AI Security Institute (AISI)
DeepMind kündigt mit dem britischen AISI neue KI-Sicherheitsforschung zu Denkprozessen, sozialen Folgen und Wirtschaftsauswirkungen an, berichtet aber noch keine Ergebnisse.
- Donating another $20 million to Public First Action
Anthropic spendet nach eigenen Angaben weitere 20 Millionen Dollar an Public First Action, um eine politische Debatte über KI-Schutzmaßnahmen zu fördern.
- Deadline extended to 1 October: Public consultation on risk thresholds for advanced AI systems
Der Bericht stellt eine OECD-Konsultation zu noch umstrittenen Risikoschwellen für fortgeschrittene KI vor, deren Beiträge bis zum 1. Oktober 2024 weitere Forschung und politische Arbeit unterstützen sollten.
- AI Safety Institutes: Can countries meet the challenge?
Der OECD-Beitrag beschreibt AISIs als mögliche Säulen für KI-Prüfung und internationale Abstimmung, deren Wirksamkeit jedoch von sicherem Informationsaustausch, passenden Befugnissen, ausreichenden Fachkräften und geeignetem Modellzugang abhängt.
- Anthropic is donating $20 million to Public First Action
Anthropic will 20 Millionen US-Dollar an eine parteiübergreifende Organisation für KI-Politik spenden und begründet dies mit dem Bedarf an Schutzregeln, Transparenz und bundesweiter Regulierung.
- Anthropic opens Tokyo office
Anthropic eröffnet laut eigener Mitteilung ein Büro in Tokio, baut Partnerschaften in Japan aus und kündigt weitere Expansion nach Seoul und Bengaluru an.
- When AI builds itself
Anthropic zufolge beschleunigt KI bereits die KI-Entwicklung; vollständige Selbstverbesserung bleibt eine unsichere Möglichkeit mit großen Chancen, Risiken und erheblichen Mess- und Koordinationsproblemen.
- Military AI Cooperation Toolbox
Der bereitgestellte Executive-Summary-Auszug empfiehlt, vorhandene US-Kooperationsmechanismen für militärische KI stärker zu nutzen; er benennt dabei offene Hürden und eine Unterrepräsentation indopazifischer Partner.
- Bridging the gap in AI governance and the rule of law: The Athens Roundtable 2023
Die Ankündigung der Athens Roundtable 2023 fordert eine rechtebasierte, international koordinierte KI-Governance mit zentraler Beteiligung der Zivilgesellschaft, enthält aber keine späteren Konferenzergebnisse.
- A law for foundation models: the EU AI Act can improve regulation for fairer competition
Der Beitrag plädiert für einen gezielten EU AI Act, der besonders leistungsfähige foundation models reguliert und Risiken begrenzt, ohne kleinere Anbieter zu benachteiligen.
- Basic safety requirements for AI risk management
Der Bericht fordert strenge, verbindliche KI-Sicherheitsregeln, weil Risiken laut Autor schwer messbar und zentrale Eigenschaften wie Interpretierbarkeit, Begrenzbarkeit und Korrigierbarkeit noch nicht zuverlässig gewährleistet sind.
- Priorities and principles for effective third party assessments
OpenAI skizziert vier Prioritäten und Grundsätze für unabhängige KI-Sicherheitsprüfungen, deren Aussagekraft durch vereinbarten Umfang, Zugang und Vertraulichkeit begrenzt ist.
- A roadmap for an AI learning campaign
Der Beitrag plädiert für eine weltweite Lernkampagne, die KI-Wissen, verantwortungsvolle Nutzung, bessere Schutzwerkzeuge und internationale Zusammenarbeit fördern soll.
- An Alien Mind
Der OpenAI-Wissenschaftler Jakub Pachocki warnt, dass KI schneller leistungsfähiger werden könnte, als ihre Ausrichtung und Überwachung Schritt halten, und fordert deshalb Sicherheitsgrenzen und internationale Koordination.
- Governance of superintelligence
OpenAI fordert für mögliche Superintelligenz internationale Koordination, Aufsicht, Sicherheitsforschung und öffentliche Mitsprache, legt aber weder ein fertiges Regelwerk noch Belege für seine Zukunftsprognosen vor.
- An update on our safety & security practices
OpenAI kündigt unabhängige Aufsicht und weitere Sicherheitsmaßnahmen an, nennt aber weder konkrete Fristen noch ausführliche Prüfergebnisse; der Text ist keine erkennbare Auszugs- oder Fehlerseite.
- AI progress and recommendations
OpenAI erwartet rasante KI-Fortschritte und empfiehlt, ihre Chancen durch breite Zugänglichkeit zu nutzen und Risiken mit Aufsicht, gemeinsamer Sicherheitsarbeit und robuster Kontrolle zu begrenzen.
- Moving AI governance forward
Der Bericht beschreibt freiwillige, zeitlich an vergleichbare Regulierung gebundene Zusagen führender KI-Unternehmen für leistungsfähigere generative Modelle, darunter Sicherheitstests, Schutzmaßnahmen, Kennzeichnung und Transparenz.
- Insights from global conversations
OpenAI berichtet über globale Hoffnungen und Risiken rund um KI und kündigt zugänglichere Produkte, stärkere Sicherheits- und Governance-Maßnahmen sowie Unterstützung für Bildung und gemeinwohlorientierte Anwendungen an; die Zusammenfassung beruht auf OpenAIs eigener Darstellung.
- OpenAI safety practices
OpenAI stellt zehn selbst beschriebene Sicherheitsmaßnahmen vor und kündigt für künftige, leistungsfähigere Modelle stärkere Schutzvorkehrungen und mehr Testzeit an.
- Our approach to AI safety
OpenAI schildert eigene Sicherheitsmaßnahmen für KI, räumt fortbestehende Risiken ein und präsentiert Verbesserungswerte, ohne sie im Bericht unabhängig überprüfen zu lassen.
- Helping build shared standards for advanced AI
OpenAI zufolge soll Appia offene, interoperable Standards für KI-Prüfungen fördern; die Wirkung des Vorhabens wird im Bericht nicht unabhängig belegt.
- OpenAI’s comment to the NTIA on open model weights
OpenAI befürwortet offene und kontrollierte KI-Veröffentlichungen, fordert je nach Modellrisiko abgestufte Prüfungen und hält flexible Politik angesichts einer noch jungen Risikowissenschaft für nötig.
- Introducing OpenAI o1
Der Bericht fasst OpenAIs Einführung von o1-preview und o1-mini samt selbst berichteten Leistungs- und Sicherheitswerten zusammen und weist darauf hin, dass die damaligen Zugangsinformationen historisch sind und beide Modelle inzwischen aus der API zurückgezogen wurden.
- Built to benefit everyone: our plan
OpenAI will KI sicher und breit nutzbar machen und nennt dafür drei Ziele, deren Erreichung der Bericht als Absicht und Prognose beschreibt.
- Planning for AGI and beyond
OpenAI beschreibt einen vorsichtigen und gesellschaftlich abgestimmten Weg zu AGI, räumt erhebliche Unsicherheit ein und kennzeichnet die Organisationsangaben des Beitrags als veraltet.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →