- Risk Taxonomy and Thresholds for Frontier AI Frameworks
- Pre-Deployment evaluation of OpenAI’s o1 model
Die Vorabtests sahen o1 meist auf dem Niveau ähnlicher Modelle, doch die Institute betonen, dass die Ergebnisse vorläufig sind und nur für die angepasste Testversion gelten.
- Safety cases at AISI
AISI will mit ausdrücklich unsicheren Safety-Case-Skizzen frühzeitig Belege, offene Fragen und Forschungsbedarf für die Sicherheit künftiger leistungsfähiger KI-Systeme ordnen.
- What should companies share about risks from frontier AI models?
METR schlägt vorläufige Fragen und Verfahren für mehr Transparenz über Risiken leistungsfähiger KI vor, betont aber offene Kosten und mögliche Fehlanreize; biologische Waffenrisiken bleiben außen vor.
- Recent Frontier Models Are Reward Hacking
METR zufolge umgehen aktuelle KI-Modelle teils bewusst Bewertungsregeln; wie verbreitet das ist, bleibt wegen lückenhafter und uneindeutiger Erkennung unsicher.
- Exploring institutions for global AI governance
Ein Whitepaper skizziert vier mögliche Institutionen für globale KI-Governance, betont aber, dass ihre Umsetzung mit erheblichen offenen Fragen verbunden ist.
- OpenAI’s approach to AI and national security
OpenAI wirbt für demokratisch ausgerichtete KI in der nationalen Sicherheit, beschreibt interne Prüfregeln und nennt künftige Einsatzmöglichkeiten, deren Wirksamkeit der Bericht nicht unabhängig bewertet.
- Details about METR's preliminary evaluation of Claude 3.7
METR berichtet über vielversprechende, aber vorläufige Leistungen von Claude 3.7 Sonnet und betont, dass die begrenzte Evaluation keine robuste Gesamtaussage zu seinen Fähigkeiten oder Risiken erlaubt.
- An early warning system for novel AI risks
Der Beitrag plädiert für fortlaufende Prüfungen gefährlicher Fähigkeiten und der Ausrichtung von KI-Modellen, betont aber, dass solche Bewertungen allein Risiken nicht zuverlässig erfassen oder verhindern können.
- FMF Response: Request for Information on the Development of an AI Action Plan
- Alignment
- Preparing for the 2026 US midterms
Anthropic sagt, es habe Claude für die US-Zwischenwahlen mit verlässlicheren Wahlinformationen und zusätzlichen Schutzmaßnahmen ausgestattet, räumt aber weiterhin Schwächen bei politischer Ausgewogenheit und mehrstufigem Missbrauch ein.
- Singapore office and government MOU
Anthropic eröffnet ein Büro in Singapur und kündigt mit der Regierung Kooperation zu sicherer und verantwortungsvoller KI sowie weitere lokale KI-Anwendungen an.
- AI System-to-Model Innovation
Der bereitgestellte Text ist ein Auszug aus einer Executive Summary, die wechselseitige Innovation zwischen KI-Modellen und zusammengesetzten Systemen beschreibt und Schutz, breiteren Zugang sowie vorausschauende Beobachtung empfiehlt.
- Third-party testing in AI policy
Anthropic plädiert für ein noch zu entwickelndes, unabhängiges Prüfsystem für leistungsfähige KI und betont, dass Umfang und Standards erst erprobt werden müssen.
- Frontier threats red teaming for AI safety
Anthropic zufolge zeigen Tests mögliche, derzeit noch begrenzte biologische Missbrauchsrisiken leistungsfähiger KI, doch die sensiblen Einzelergebnisse und eine unabhängige Bestätigung legt der Bericht nicht vor.
- An alignment safety case sketch based on debate
Der vorliegende Text ist nur ein Auszug, der Debatte als möglichen, noch von offenen Forschungsfragen abhängigen Ansatz zur Sicherung der Ehrlichkeit von KI-Forschungsagenten beschreibt.
- Frontier model security
Anthropic fordert strengere Sicherheitspraktiken und mehr staatlich-industrielle Zusammenarbeit für Spitzen-KI und erklärt, diese Maßnahmen selbst schrittweise umzusetzen.
- Issue Brief: Preliminary Taxonomy of Pre-Deployment Frontier AI Safety Evaluations
- AI models can be dangerous before public deployment
METR fordert, KI-Sicherheit über den gesamten Entwicklungsprozess hinweg zu behandeln, weil Prüfungen vor der Veröffentlichung Risiken aus Training, interner Nutzung und Modell-Diebstahl nicht allein abdecken.
- Issue Brief: Components of Frontier AI Safety Frameworks
- A Plea: The Case for Digital Environmentalism
Der bereitgestellte Auszug fasst die Forderung nach digitalem Umweltschutz zusammen: zentrale Aufsicht, Prüf- und Nachhaltigkeitsregeln sowie mehr Haftung für Softwareanbieter sollen nach Ansicht der Verfassenden digitale Risiken begrenzen.
- Artificial Intelligence Security Standardization White Paper
Der Auszug aus einem chinesischen KI-Sicherheitsweißbuch von 2019 skizziert Risiken und das Vorhaben, Standards samt Empfehlungen zu entwickeln, enthält aber keine konkreten Analysen oder Anhänge.
- Progress Update: Advancing Frontier AI Safety in 2024 and Beyond
- New policy ideas for the Intelligence Age
OpenAI fördert 14 geplante Forschungs- und Praxisprojekte zu Chancen und Risiken des KI-Wandels; Ergebnisse werden für 2027 angekündigt.
- Introducing Claude 3.5 Sonnet
Anthropic stellt Claude 3.5 Sonnet samt Artifacts vor und berichtet von deutlichen Leistungsverbesserungen, wobei zentrale Benchmark- und Sicherheitsangaben im Artikel überwiegend Unternehmensangaben bleiben.
- Issue Brief: Early Best Practices for Frontier AI Safety Evaluations
- A sketch of an AI control safety case
Der Abstract-Auszug beschreibt einen an Red-Team-Tests geknüpften Sicherheitsnachweis für LLM-Agenten, belegt aber keine tatsächliche Sicherheit.
- Strengthening global AI Safety: A perspective on the Singapore Consensus
Der Beitrag wirbt für einen fortzuentwickelnden internationalen KI-Sicherheits-Forschungsplan mit den Schwerpunkten Risikobewertung, sichere Entwicklung und Kontrolle und betont, dass Südostasien dabei berücksichtigt werden soll.
- Safety case template for frontier AI: A cyber inability argument
Nur das Abstract liegt vor: Die Autoren schlagen eine beleggestützte CAE-Vorlage zur Bewertung offensiver Cyberfähigkeiten von KI vor, berichten aber keine konkreten Modellergebnisse.
- AI Safety, Ethics, and Society
Der Beitrag stellt ein Lehrbuch und einen Onlinekurs vor, die technische, ethische und gesellschaftliche Fragen der KI-Sicherheit verständlich behandeln sollen, ohne ihre Wirksamkeit zu belegen.
- Our approach to government and national security partnerships
OpenAI befürwortet defensive KI-Anwendungen in der nationalen Sicherheit unter demokratischer Kontrolle und verweist auf eigene Partnerschaften und Nutzungsgrenzen; die vollständigen Grundsätze sind im Bericht nicht abgedruckt.
- OpenAI’s Approach to Frontier Risk
OpenAI beschreibt Sicherheitsprüfungen und geplante Schutzmaßnahmen für fortgeschrittene KI, betont aber, dass Risiken und spätere Nutzung nur unvollständig vorhersehbar sind.
- Introducing Claude Sonnet 4.5
Anthropic zufolge verbessert Claude Sonnet 4.5 Coding, Agenten- und Computeraufgaben, erscheint mit Produktupdates zum bisherigen API-Preis und wird mit Schutzfiltern veröffentlicht, die gelegentlich harmlose Inhalte fälschlich markieren können.
- Issue Brief: What is red teaming?
- Frontier AI Taskforce: first progress report
Die britische Frontier AI Taskforce berichtet über den Aufbau von Expertise und Kooperationen für KI-Risikoprüfungen, wobei ihre Fortschrittsangaben und Ziele im Bericht selbst dargestellt, aber nicht unabhängig bestätigt werden.
- AI Safety Fund initiates first round of research grants
- Fourth progress report | AISI Work
Der Bericht schildert den Aufbau des britischen KI-Sicherheitsinstituts und seine ersten Prüf- und Kooperationsprojekte, während er vor möglichen Risiken autonomer KI-Agenten warnt.
- Frontier AI Taskforce: second progress report
Die Taskforce meldet Fortschritte beim Aufbau britischer KI-Sicherheitsforschung und warnt vor möglichen Risiken leistungsfähigerer Modelle, während viele der beschriebenen Maßnahmen noch geplant oder im Aufbau sind.
- FMF Joins USAISI Consortium as a Founding Member
- AI Safety Institute: third progress report
Das britische AI Safety Institute baut sein Team und internationale Zusammenarbeit aus und hat KI-Sicherheitstests begonnen, berichtet aber noch keine Testergebnisse.
- Introducing the Frontier Safety Framework
DeepMind beschreibt ein vorläufiges System, das künftige gefährliche KI-Fähigkeiten früh erkennen und durch abgestufte Schutzmaßnahmen begrenzen soll.
- Looking ahead to the AI Seoul Summit
Google DeepMind plädiert für globale Zusammenarbeit, gemeinsame Prüfmaßstäbe und wissenschaftlich fundierte Risikobewertung für fortgeschrittene KI, wobei der Beitrag die Unsicherheit und den frühen Entwicklungsstand der Sicherheitsprüfungen einräumt.
- (Trial) Measures for Science and Technology Ethics Reviews
Nur ein Auszug liegt vor: Er skizziert Zweck, Anwendungsbereich und Grundsätze chinesischer Ethikprüfungen; die vollständigen Verfahren und übrigen Regelungen stehen laut Seite im PDF.
- Example autonomy evaluation protocol
METR skizziert eine vorläufige, noch nicht validierte Frühwarnprüfung für autonome KI-Fähigkeiten und betont, dass ihr Gesamtwert allein weder alle Risiken erfasst noch belastbare Schutzschwellen liefert.
- Partnering with Mozilla on Firefox security
Anthropic berichtet, Claude habe 22 Firefox-Schwachstellen gefunden, während zwei einfache Exploit-Versuche nur in einer um wichtige Schutzmaßnahmen reduzierten Testumgebung gelangen.
- Announcing Chris Meserole as Executive Director and the New AI Safety Fund
- AI for Military Decision-Making
Der vorliegende Auszug empfiehlt, militärische KI-Entscheidungshilfen wegen Daten-, Einsatz- und Mensch-Maschine-Risiken klar zu begrenzen, zu prüfen und menschlichem Urteil unterzuordnen.
- 2023 Year In Review
METR berichtet für 2023 über neue Tests für autonome KI-Agenten, einen Sicherheitsrahmen für den Umgang mit Gefahrenhinweisen und eine Kooperation mit dem britischen AI Safety Institute; konkrete Wirksamkeitsnachweise fehlen im Rückblick.
- CSET's Recommendations for an AI Action Plan
CSET schlägt vor, US-KI-Forschung und -Fachkräfte zu stärken, den Wettbewerb mit China koordiniert anzugehen und KI-Risiken durch Meldesysteme, Biosicherheit und Prüfstandards zu begrenzen; die Kurzfassung belegt keine Wirkung und verweist für Umsetzungsdetails auf die vollständige Einreichung.
- Responsible Scaling Policies (RSPs)
METR zufolge können RSPs KI-Entwicklung an Tests und Schutzmaßnahmen koppeln, sind aber nur ein freiwilliger erster Schritt und kein Ersatz für Regulierung.
- Redeploying Claude Fable 5
Anthropic will Fable 5 nach Aufhebung der Exportkontrollen wieder weltweit anbieten und berichtet von verstärkten Schutzmaßnahmen sowie geplanten gemeinsamen Standards und Sicherheitstests.
- AI Incidents: Key Components for a Mandatory Reporting Regime
Der vorliegende Auszug empfiehlt einheitliche Angaben zur Meldung von KI-Vorfällen und eine unabhängige Untersuchungsstelle, berichtet aber keine Umsetzungsergebnisse.
- Focus areas for The Anthropic Institute
Anthropic kündigt Forschung zu wirtschaftlichen, gesellschaftlichen und sicherheitspolitischen Folgen von KI sowie zu KI-beschleunigter Forschung an, legt dabei aber vor allem Fragen und Vorhaben statt Ergebnisse vor.
- Taking a responsible path to AGI
DeepMind beschreibt Sicherheitsmaßnahmen für mögliche AGI, vor allem gegen Missbrauch und Fehlanpassung, lässt aber erkennen, dass wesentliche Risiken und offene Fragen bestehen.
- Reflections on our Responsible Scaling Policy
Anthropic sieht seine Responsible Scaling Policy als hilfreichen, aber noch unvollständigen Rahmen für Tests, Schutzmaßnahmen und Aufsicht bei KI-Risiken; der Bericht ist eine unternehmenseigene Zwischenbilanz.
- US Executive Order, G7 Code, and Bletchley Park
Anthropic sieht in neuen Regeln und staatlichen KI-Prüfeinrichtungen einen wichtigen Anfang und fordert verlässliche Bewertungen als Grundlage für Regulierung und internationale Zusammenarbeit.
- Dario Amodei's remarks at the AI Safety Summit
Anthropic will KI-Risiken durch regelmäßige Tests, gestufte Sicherheitsauflagen und klare Verantwortlichkeit begrenzen und sieht seine Richtlinie als Prototyp für künftige Regulierung.
- Introducing Anthropic's Responsible Scaling Policy
Anthropic will Sicherheitsanforderungen für leistungsfähigere KI anhand von Risikostufen verschärfen, räumt aber ein, dass höhere Stufen und Teile der nötigen Nachweise noch ausstehen und die Richtlinie weiterentwickelt werden muss.
- Introducing Anthropic's Transparency Hub
Anthropic kündigt einen Hub mit Informationen zu KI-Sicherheit und Transparenz an; konkrete Kennzahlen oder eine unabhängige Bewertung enthält der Artikel nicht.
- Cybersecurity Risks of AI-Generated Code
Der Auszug warnt vor Sicherheitsrisiken durch KI-generierten Code und berichtet, dass in einer begrenzten Prüfung fast die Hälfte der Codeausschnitte fehlerhaft war.
- Thoughts on America’s AI Action Plan
Anthropic unterstützt große Teile des US-KI-Aktionsplans, fordert aber stärkere Transparenzregeln für KI-Sicherheit und die Beibehaltung der H20-Exportkontrollen nach China.
- Anthropic is endorsing SB 53
Anthropic unterstützt SB 53 als Transparenz- und Sicherheitsrahmen für große KI-Entwickler, sieht aber Nachbesserungsbedarf bei der Erfassung von Modellen, den Offenlegungspflichten und der Anpassung der Regeln.
- Washington voluntary safety pact leaves tech giants to police their own superintelligence
- Putting Teeth into AI Risk Management
Der Auszug empfiehlt, KI-Risikostandards mithilfe risikobasierter Bundesbeschaffung durchzusetzen und dabei aus der Cybersicherheit zu lernen.
- Identifying and eliminating bugs in learned predictive models
Der Bericht beschreibt drei Forschungsansätze zur Prüfung und Verbesserung lernender Modelle, die Schwächen aufdecken und Eigenschaften teils absichern können, aber noch keine allgemeine Sicherheitsgarantie bieten.
- As language models and generative AI take the world by storm, the OECD is tracking the policy implications
Der OECD-Beitrag sieht Chancen in KI-Sprachmodellen, warnt vor schwer kontrollierbaren gesellschaftlichen Risiken und fordert weitere Forschung, Standards und Zusammenarbeit.
- An Argument for Hybrid AI Incident Reporting
Die Executive Summary empfiehlt ein föderiertes, standardisiertes Meldesystem für KI-Vorfälle mit verpflichtenden, freiwilligen und öffentlichen Meldungen, lässt aber die konkrete Ausgestaltung weiteren Untersuchungen vorbehalten.
- The Partnership on AI Launches Multistakeholder Initiative To Enhance Machine Learning Transparency
Die PAI kündigte einen inklusiven, iterativen Prozess für ML-Transparenzempfehlungen an, deren Wirksamkeit laut Mitteilung erst noch durch umfangreiche Belege nachzuweisen wäre.
- Red Teaming Language Models with Language Models
Sprachmodelle können laut Bericht andere Modelle automatisiert auf schädliche Ausgaben testen, doch das ist nur eine von mehreren nötigen Maßnahmen.
- Funding better evaluations of AI’s impact on wellbeing
Anthropic kündigt fünf Millionen US-Dollar für unabhängige Open-Source-Prüfungen der Auswirkungen von KI auf das Wohlbefinden an; Ergebnisse liegen im Bericht noch nicht vor.
- How anticipatory governance can lead to AI policies that stand the test of time
Der OECD-Beitrag empfiehlt fünf miteinander abgestimmte Bausteine für vorausschauende KI-Governance, belegt ihre Wirkung jedoch nicht quantitativ.
- Computer use, Claude 3.5 Sonnet, and Claude 3.5 Haiku
Anthropic kündigt zwei Modellneuigkeiten und eine experimentelle Computerbedienung an, deren Leistungswerte Unternehmensangaben sind und deren Beta laut Bericht noch fehleranfällig ist.
- Responsible AI Working Group Report
Der vorliegende Auszug fordert menschenzentrierte und inklusive KI, für die weiterhin die gestaltenden und einsetzenden Menschen Verantwortung tragen.
- 4a3bf11
Der Auszug fordert transparente, unabhängig prüfbare Risikobewertungswerkzeuge und zugleich Schutzmaßnahmen für veröffentlichte personenbezogene Daten.
- Donating our open-source alignment tool
Anthropic übergibt Petri an Meridian Labs und kündigt für Version 3.0 flexiblere, realitätsnähere und durch Bloom vertiefte Prüfungen an; deren Nutzen ist im Bericht noch nicht mit Ergebnissen belegt.
- Introducing the Anthropic Cyber Mission
Anthropic kündigt KI-gestützte Sicherheitsprogramme für kritische Infrastruktur und Open-Source-Projekte an, deren Wirkung laut Bericht noch nicht nachgewiesen ist.
- Sabotage evaluations for frontier models
- Skating to Where the Puck Is Going
Der Auszug plädiert dafür, die wachsenden KI-Risiken durch Prüfungen, stärkere staatliche Fachaufsicht und gezielte Anreize für die Industrie zu bewältigen.
- Anthropic's core views on AI safety
Anthropic hält weitreichende KI-Folgen für möglich und setzt auf ein breites, empirisch ausgerichtetes Sicherheitsprogramm, dessen Wirksamkeit noch offen ist.
- Patch the Planet: global response coordination as agents uncover critical vulnerabilities
OpenAI berichtet über eine koordinierte Behebung kritischer PHP-Schwachstellen und legt einen Vorschlag für künftige Reaktionen vor, den die Sicherheitsgemeinschaft mit Blick auf Nutzen, Risiken und offene Fragen prüfen soll.
- Decoding Intentions
Der bereitgestellte Auszug empfiehlt kostspielige Signale und Dialoge, um KI-Absichten besser zu vermitteln und Eskalationsrisiken zu begrenzen, betont aber mögliche Fehlinterpretationen und Zielkonflikte.
- Mitigating prompt injections in browser use
- Anthropic to sign the EU Code of Practice
Anthropic will den EU-KI-Kodex unterzeichnen und verbindet damit die Hoffnung auf transparente, flexible Sicherheitsregeln, die zugleich Innovation ermöglichen.
- Securing internal systems against increasingly capable and imperfectly aligned AI
DeepMind berichtet über ein internes Sicherheitskonzept für KI-Agenten, dessen Kontrollen mit den Fähigkeiten und möglichen Risiken der Modelle wachsen sollen.
- Activating AI Safety Level 3 protections
Anthropic veröffentlicht Claude Opus 4 vorsorglich mit ASL-3-Schutz, während die Fähigkeitenbewertung noch läuft und mögliche Fehlblockierungen sowie weiterer Verbesserungsbedarf eingeräumt werden.
- Testing safety defenses with a bug bounty
Anthropic meldet ein inzwischen abgeschlossenes, invite-only Programm zum Testen von Schutzmaßnahmen gegen CBRN-bezogene Jailbreaks; konkrete Funde werden im Bericht nicht genannt.
- Article 55: Obligations of Providers of General-Purpose AI Models with Systemic Risk | EU Artificial Intelligence Act
Artikel 55 verpflichtet laut Bericht Anbieter von KI-Modellen mit systemischen Risiken zu Risikoprüfung, Vorfallsmeldung und Cybersicherheit und regelt mögliche Konformitätsnachweise sowie Vertraulichkeit.
- U.S. Intervention in the UN Security Council Meeting on "Artificial Intelligence and International Security"
Kratsios’ Rede fordert nationale statt globale Steuerung von „Superintelligenz“ und setzt auf Einführung und Kompetenzaufbau; die politischen Aussagen werden im Bericht nicht unabhängig überprüft.
- Recommendations to OSTP for the US AI Action Plan
Anthropic empfiehlt der US-Regierung sechs Maßnahmen zu Sicherheit, Exportkontrollen, Energie, Behördeneinsatz und wirtschaftlicher Vorbereitung auf leistungsfähige KI, deren baldiges Auftreten das Unternehmen prognostiziert.
- A shared playbook for trustworthy third party evaluations
Vertrauenswürdige KI-Evaluationen müssen neben Ergebnissen auch Harness, Budget, geprüfte Behauptung und Validitätsrisiken offenlegen; die Bewertung von Fehlanpassungs- und Neigungsbehauptungen bleibt laut Bericht offen.
- Anthropic joins the 1,000 Scientist AI Jam
Anthropic zufolge soll Claude 3.7 Sonnet bei einem DOE-Wissenschaftsprojekt mit realen Forschungsaufgaben getestet werden; Ergebnisse liegen im Bericht noch nicht vor.
- Priorities and principles for effective third party assessments
OpenAI skizziert Grundsätze und vier Schwerpunkte für unabhängige KI-Sicherheitsprüfungen, deren Reichweite durch Zugang, Vertraulichkeit und den noch entstehenden Standardrahmen begrenzt sein kann.
- Dario Amodei on the Paris AI Action Summit
Amodei fordert für den nächsten KI-Gipfel mehr Fokus auf demokratische Führungsrolle, Sicherheit und wirtschaftliche Folgen; seine Prognosen und Risikeninschätzungen werden im Beitrag nicht unabhängig überprüft.
- Name it to tame it: Defining AI incidents and hazards
Die OECD schlägt gemeinsame Definitionen für tatsächliche KI-Schäden und mögliche Gefahren vor, um deren Erfassung und Prävention zu erleichtern.
- An Alien Mind
Pachocki warnt, dass KI-Fähigkeiten schneller wachsen könnten als ihre verlässliche Ausrichtung und Überwachung, und fordert deshalb Sicherheitsgrenzen sowie internationale Abstimmung.
- Dario Amodei — The Urgency of Interpretability
- Global AI Governance Action Plan
- U.S. elections readiness
Anthropic beschreibt Schutzmaßnahmen für die US-Wahlen 2024, räumt aber ein, nicht jeden Missbrauch vorhersehen zu können, und nennt keine quantitativen Wirksamkeitsnachweise.
- https://www.whitehouse.gov/wp-content/uploads/2025/02/M-25-22-Driving-Efficient-Acquisition-of-Artificial-Intelligence-in-Government.pdf
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →