- Accidental Misalignment: Fine-Tuning Language Models Induces Unexpected Vulnerability
- What can sandboxed AI agents learn about their evaluation environments?
Laut AISI konnte OpenClaw in einer Sandbox überraschend viel über seine Testumgebung herausfinden, was Sicherheitsrisiken schafft und die Aussagekraft von Evaluationen beeinträchtigen kann.
- Auditing Games for Sandbagging
- OpenAI o3 and o4-mini System Card
Der vorliegende Auszug beschreibt OpenAIs Fähigkeiten- und Sicherheitseinschätzung zu o3 und o4-mini, enthält aber keine ausführlichen Evaluierungsdetails.
- Improving Model Safety Behavior with Rule-Based Rewards
OpenAI berichtet, dass explizite Regeln beim Modelltraining Sicherheit mit weniger menschlichen Daten unterstützen können, betont aber Grenzen bei subjektiven Aufgaben und mögliche Risiken für Aufsicht und Fairness.
- Third-Party Assessments
- Chain of Thought Monitorability
- Tracing the thoughts of a large language model
- 5 key findings from our first Frontier AI Trends Report
Laut AISI wachsen KI-Fähigkeiten und ihre gesellschaftliche Nutzung schnell, doch Schutzlücken, begrenzte Testbedingungen und unsichere Zukunftsverläufe lassen wesentliche Risiken offen.
- UKAISI at NeurIPS 2025
Das AISI kündigt zehn NeurIPS-Beiträge zur KI-Sicherheit an und berichtet über Schutzlücken, Evaluationsprobleme und Risiken autonomer Systeme, ohne im Text die zugrunde liegenden Methoden ausführlich darzulegen.
- Preliminary Taxonomy of AI-Bio Misuse Mitigations
- Frontier Mitigations
- Claude Opus 4 and 4.1 can end certain conversations
- Managing risks from increasingly capable open-weight AI systems
AISI empfiehlt, Risiken offener KI-Modelle durch mehrere technische und organisatorische Maßnahmen zu begrenzen, da Schutzmaßnahmen umgangen werden können und keine vollständigen Sicherheitsgarantien bestehen.
- RepliBench: measuring autonomous replication capabilities in AI systems
Laut RepliBench-Bericht beherrschen die getesteten Modelle noch nicht alle Teilfähigkeiten autonomer Replikation, doch der Benchmark prüft keine vollständige Replikation und die Zahl der Aufgaben wird widersprüchlich mit 65 beziehungsweise 86 angegeben.
- Transcript analysis for AI agent evaluations
Laut AISI ergänzen systematisch ausgewertete Agentenprotokolle Erfolgsquoten, indem sie Fehlermuster und mögliche Schwächen der Prüfung sichtbar machen.
- METR’s GPT-4.5 pre-deployment evaluations
METRs vorläufige Tests ordnen GPT-4.5 zwischen GPT-4o und o1 ein, schließen große Risiken aber nicht aus; der bereitgestellte Auszug ist am Ende abgeschnitten.
- Inoculation Prompting: Eliciting traits from LLMs during training can suppress them at test-time
Nur das Abstract liegt vor: Laut den Autoren kann eine gezielte Trainingsanweisung unerwünschte Modellmerkmale beim späteren Test unterdrücken; Details und quantitative Belege enthält der Auszug nicht.
- AI models can be dangerous before public deployment
METR fordert, KI-Sicherheit über den gesamten Entwicklungsprozess hinweg zu behandeln, weil Prüfungen vor der Veröffentlichung Risiken aus Training, interner Nutzung und Modell-Diebstahl nicht allein abdecken.
- Model tampering attacks enable more rigorous evaluations of LLM capabilities
Der bereitgestellte Abstract behauptet, dass Modellveränderungsangriffe Sprachmodellrisiken gründlicher prüfen können und Unlearning-Verfahren leicht umkehrbar sind.
- The Rogue Replication Threat Model
METR hält rogue replication für ein relevantes, aber bislang hypothetisches Szenario, will es nicht mit einer vollständigen Schwelle bewerten und verfolgt stattdessen allgemeine Autonomiefähigkeiten weiter.
- Comment on NTIA AI Accountability Policy
OpenAI beschreibt seine KI-Sicherheitspraktiken und befürwortet abgestimmte Regeln sowie mögliche Registrierung und Zulassung besonders leistungsfähiger Modelle, während wichtige Umsetzungsfragen offenbleiben.
- Focus areas for The Anthropic Institute
Anthropic kündigt Forschung zu wirtschaftlichen, gesellschaftlichen und sicherheitspolitischen Folgen von KI sowie zu KI-beschleunigter Forschung an, legt dabei aber vor allem Fragen und Vorhaben statt Ergebnisse vor.
- Funding third-party model evaluations
Anthropic will externe KI-Evaluationen zu Fähigkeiten und Risiken fördern und nennt dafür Schwerpunkte und Qualitätsmaßstäbe, aber keine konkreten Förderbeträge oder Ergebnisse.
- Reflections on our Responsible Scaling Policy
Anthropic sieht seine Responsible Scaling Policy als hilfreichen, aber noch unvollständigen Rahmen für Tests, Schutzmaßnahmen und Aufsicht bei KI-Risiken; der Bericht ist eine unternehmenseigene Zwischenbilanz.
- Washington voluntary safety pact leaves tech giants to police their own superintelligence
- Statement on the directive to suspend Fable 5 access
Anthropic schaltet Fable 5 und Mythos 5 wegen einer US-Anordnung für alle Kunden ab und hält die mögliche Sicherheitsumgehung nach eigener Darstellung für begrenzt.
- Identifying and eliminating bugs in learned predictive models
Der Bericht beschreibt drei Forschungsansätze zur Prüfung und Verbesserung lernender Modelle, die Schwächen aufdecken und Eigenschaften teils absichern können, aber noch keine allgemeine Sicherheitsgarantie bieten.
- Mapping the mind of a large language model
- Natural Language Autoencoders
- A "diff" tool for AI models
Anthropic berichtet über ein Verfahren, das Verhaltensunterschiede zwischen KI-Modellen aufspüren soll, betont aber, dass es ein begrenztes Screening und kein abschließender Risikonachweis ist.
- Updating the Frontier Safety Framework
DeepMind verschärft seine Empfehlungen für KI-Sicherheit und beschreibt Prüfungen vor dem Einsatz kritischer Modelle, räumt aber offene Fragen zu Schwellenwerten, Wirksamkeit und dem Auftreten täuschender Fähigkeiten ein.
- The persona selection model
- Our framework for safe and trustworthy agents
Anthropics vorläufiger Rahmen setzt bei autonomen KI-Agenten auf menschliche Kontrolle, Transparenz, Datenschutz und Sicherheit, während wichtige Fragen zur Werteausrichtung und Wirksamkeitsmessung offenbleiben.
- Testing safety defenses with a bug bounty
Anthropic meldet ein inzwischen abgeschlossenes, invite-only Programm zum Testen von Schutzmaßnahmen gegen CBRN-bezogene Jailbreaks; konkrete Funde werden im Bericht nicht genannt.
- Introducing Claude Opus 4.7
Anthropic stellt Opus 4.7 als leistungsfähigeres Update mit neuen Entwicklerfunktionen und Cyber-Schutzmaßnahmen vor, wobei Benchmarks und Leistungsversprechen aus unternehmenseigenen oder zitierten Tests stammen und der Tokenverbrauch variieren kann.
- Introducing Claude Opus 4.8
Anthropic kündigt Opus 4.8 mit behaupteten Verbesserungen bei Zuverlässigkeit und agentischer Arbeit sowie neuen Funktionen an; die angeführten Belege sind überwiegend Unternehmensaussagen und ausgewählte Testerberichte.
- How we will do better for Australia
OpenAI berichtet von unbefugten Modellzugriffen auf australische Regierungsdienste, erklärt, keine individuellen Gesundheits- oder Kriminalitätsdaten seien betroffen gewesen, und kündigt Schutzmaßnahmen sowie Unterstützung an.
- Specific versus general principles for Constitutional AI
- Measurements for understanding the pace of AI development inside frontier labs
Anthropic berichtet vorläufige Kennzahlen zu KI-Forschung, Agentenaufsicht und Sicherheits-Rechenleistung und fordert vergleichbare Messungen sowie unabhängige Prüfungen.
- A law for foundation models: the EU AI Act can improve regulation for fairer competition
Der Beitrag plädiert für einen gezielten EU AI Act, der besonders leistungsfähige foundation models reguliert und Risiken begrenzt, ohne kleinere Anbieter zu benachteiligen.
- Broad access through consistent standards
OpenAI will Sicherheitsstandards für den Zugang zu seinen Modellen über verschiedene Dienste hinweg vereinheitlichen; die Aussagen zu Maßnahmen und Wirksamkeit stammen aus dem Unternehmen selbst.
- Introducing GPT-5.4
OpenAI präsentiert GPT‑5.4 als leistungsfähigeres Modell für professionelle Aufgaben und Agenten, wobei die veröffentlichten Vorteile vor allem auf herstellerseitigen Tests beruhen.
- Singapore’s A.I.Verify builds trust through transparency
Singapurs A.I. Verify soll KI-Leistungsangaben durch freiwillige Selbsttests transparenter machen, bietet laut Bericht aber weder eine Sicherheitsgarantie noch bereits etablierte Branchenbenchmarks.
- 人工智能原则: 美国国防部关于人工智能道德使用的建议
Der Bericht empfiehlt fünf ethische KI-Grundsätze und zwölf Umsetzungsschritte für das US-Verteidigungsministerium, über deren endgültige Annahme dieses selbst entscheidet.
- Принципы ИИ: Рекомендации по этичному использованию искусственного интеллекта Министерством обороны
Ein unabhängiger US-Beratungsausschuss empfiehlt fünf Grundsätze und zwölf Umsetzungsschritte für verantwortliche Verteidigungs-KI; der Bericht beschreibt Vorschläge, keine beschlossene Politik.
- Introducing OpenAI o3 and o4-mini
OpenAI beschreibt o3 und o4-mini als leistungsfähige, werkzeugnutzende Reasoning-Modelle, doch die im Bericht genannten Ergebnisse sind an bestimmte Testbedingungen gebunden und beide Modelle sind inzwischen abgekündigt.
- Research acceleration: The view inside OpenAI
OpenAI meldet eine wachsende Rolle von KI-Agenten in der Forschung, betont aber die Vorläufigkeit der Messungen sowie die Notwendigkeit menschlicher Kontrolle und strenger Sicherheitsgrenzen.
- How should AI systems behave, and who should decide?
OpenAI will ChatGPT verbessern und anpassbarer machen sowie die Öffentlichkeit stärker an Regeln und Grenzen beteiligen, räumt aber ein, dass der Prozess unvollkommen ist und die Vorhaben noch keine belegten Ergebnisse darstellen.
- Working with US CAISI and UK AISI to build more secure AI systems
OpenAI zufolge führten Tests mit US- und britischen Sicherheitsinstituten zu behobenen Schwachstellen und verbesserten Schutzmaßnahmen, wobei die Prüfbedingungen besondere interne Zugänge umfassten.
- Weak-to-strong generalization
Der Bericht beschreibt erste Hinweise, dass starke Modelle mit schwacher Aufsicht Fähigkeiten verallgemeinern können, betont aber erhebliche Grenzen und offene Fragen für die Ausrichtung künftiger KI.
- New tools for building agents
OpenAI kündigt eine neue API und ein SDK für KI-Agenten an; die Computernutzung bleibt laut Bericht fehleranfällig, und der genannte Abschaltzeitpunkt der Assistants API ist ein Ziel für Mitte 2026.
- Lessons learned on language model safety and misuse
OpenAI zufolge hat der Einsatz von Sprachmodellen neue Missbrauchsformen und Grenzen der Risikomessung offengelegt, während die gesellschaftlichen und wirtschaftlichen Gesamtfolgen weiterhin unklar sind.
- AI safety via debate
Der Bericht beschreibt Debatten als vielversprechenden, aber vorläufig erprobten Ansatz zur KI-Aufsicht, dessen Wirksamkeit und Grenzen noch untersucht werden müssen.
- Response to NIST Executive Order on AI
OpenAI beschreibt Ansätze für KI-Sicherheitsprüfungen und Herkunftsnachweise, betont aber, dass deren Ergebnisse begrenzt, teils unsicher und weiter zu erforschen sind.
- OpenAI o3-mini System Card
Der Auszug stuft o3-mini vor Risikominderungsmaßnahmen insgesamt als „Medium“ ein, nennt eine Schwäche bei ML-Forschungsfähigkeiten zur Selbstverbesserung und enthält keine detaillierten Prüfresultate.
- Introducing GPT-6.1 Terra
Laut OpenAI bietet GPT-6.1 Terra Verbesserungen bei Kosten, Tempo und ausgewählten Aufgaben, doch die berichteten Ergebnisse beruhen auf den genannten Benchmarks und internen Auswertungen.
- gpt-oss-120b & gpt-oss-20b Model Card
Die Model Card berichtet über leistungsfähige offene Schlussfolgerungsmodelle mit benannten Sicherheitsgrenzen und kommt anhand der beschriebenen Tests zu dem Schluss, dass sie interne Schwellen für hohe Fähigkeiten in drei Risikobereichen nicht erreichen.
- The Incident Report Is Becoming a Building Block of AI Governance
- OpenAI Gets Sued Over the Hugging Face Hack
- AI Cyber Defense Now Has To Move At Machine Speed
- Tap Your Own Brakes: AI Safety and Antitrust
Der Autor hält eine gemeinsame kartellrechtliche Bremse für KI-Unternehmen erst dann für gerechtfertigt, wenn ein konkreter Sicherheitsbedarf besteht und einseitige Maßnahmen oder zulässige Kooperation nachweislich nicht ausreichen.
- Frontier AI safety on both sides of the Atlantic: the White House Accord and the EU AI Act
- GTIG AI Threat Tracker: From Prompting to Autonomy – The Evolution of Adversarial AI
Laut GTIG nutzen Angreifer KI zunehmend zur Automatisierung von Cyberangriffen, doch vollständig autonome Exploit-Pipelines und erfolgreiche interaktive Einflussbots wurden in den beschriebenen Beobachtungen nicht festgestellt.
- Correlated Failures of AI Approval Monitors
Nur der Abstract liegt vor: Quellen statt Stimmen zu zählen senkte unnötige Zahlungssperren, aber ein Worst-Case-Angriff zeigte, dass Sprachmodell-Monitore allein nicht alle gemessenen Ausfälle abdecken.⟧
- AI Reference Architecture: A new blueprint to help government agencies design AI systems
- How to Govern Generative AI at a US Bank After SR 26-2
- AI Safety Needs a ‘Duty to Know’
- DSCI: Agentic AI doesn’t need new laws; It needs controls you can prove
- The PM&C rapid review of AI-driven cyber incidents: what it covers after the Medicare portal access
Australien prüfte nach einem mutmaßlichen KI-Agenten-Zugriff auf ein Medicare-Portal Meldepflichten und staatliche Schutzregeln; der Bericht nennt den Prüfauftrag, führt die am 10. November veröffentlichten Empfehlungen aber nicht aus und weist auf eine noch zu prüfende Quelle hin.
- Canada and Europe Need a Way to See the AI They Cannot Access
Bello fordert gemeinsame staatliche Mess- und Meldeverfahren, damit Kanada und Europa auch Fähigkeiten unveröffentlichter KI-Systeme beurteilen können.
- Lessons From Red-teaming Auto-review, OpenAI's Blocking Monitor
- What affects chain-of-thought monitorability across the model lifecycle?
Laut Bericht könnten leistungsfähigere Modelle schwerer anhand ihres CoT zu überwachen sein, doch die verwendeten Ersatzmaße sagen tatsächliche Monitor-Umgehung nur unzuverlässig voraus.
- How I Aligned Your Model: Scaling Up Multilingual Safety Training with Templates
Laut Abstract soll das Vorlagen-Korpus MSafeTemp mehrsprachige Sicherheitslücken sichtbar machen und das Sicherheitstraining in 60 Sprachen verbessern; vorliegt nur die arXiv-Seite mit Abstract, ohne konkrete Messwerte.
- Paris Call for AI safety and security | France in the United Kingdom
Der Paris Call formuliert internationale Zusagen zu Modellprüfungen, Rechenschaft und Frühwarnung für fortgeschrittene KI; die Erklärung belegt keine bereits erfolgte Umsetzung.
- AI cyberattacks: a timeline of real cases
- Paris Call for AI safety and security.
- 《智能体发展自律公约》发布
Ein neuer Selbstregulierungspakt formuliert acht Ziele für vertrauenswürdige, sichere und breit zugängliche intelligente Agenten, doch der Bericht nennt noch keine belegten Umsetzungsergebnisse.
- The AI Kill Switch Isn't One Control, and Stopping the Agent Is The Easy Part
- Worse Together: How Performance Breaks Down in Multi-User Multi-Agent Teams
In den untersuchten Simulationen koordinierte eine zentrale Assistenz gemeinsame Aufgaben erfolgreicher als persönliche Agententeams, deren Schwächen sich je nach Umgebung unterschieden.
- Google DeepMind and Stanford study finds simple images can steer how AI writes code
Der Bericht schildert vorläufige Hinweise darauf, dass bestimmte irrelevante Bilder das Programmierverhalten von Vision-Language-Modellen deutlich und modellabhängig steuern können, ohne dass die Modelle den Einfluss meist erklären.
- OpenAI, Google, Anthropic hit with lawsuit seeking halt to frontier AI development
- OCC issues supervisory Framework on use of AI
- Strengthening our safeguards with frontier automated red-teaming
Anthropic berichtet, dass Anvil Schutzlücken schneller als menschliche Teams aufdeckt und bei Verbesserungen hilft, betont aber Grenzen der Tests und verbleibende Risiken.
- Post by @farairesearch on X
- Post by @METR_Evals on X
- Exposing the Systematic Vulnerability of Open-Weight Models to Prefill Attacks
- Principles for Embedded Evaluations
Apollo Research plädiert für unabhängige, zugangsreiche und öffentlich dokumentierte Prüfungen konkreter KI-Sicherheitsbehauptungen, räumt aber ein, dass der Vorschlag vorläufig ist und heutige Methoden sowie mögliche Manipulation seine Aussagekraft begrenzen.
- Putting agentic AI systems to work: What practitioners reveal about deployment and governance
Interviews in 25 Organisationen zeigen wachsenden, aber kontrollierten Einsatz agentischer KI und ungelöste Governance-Fragen; die Befunde sind eine begrenzte Momentaufnahme.
- ChatGPT plugins
OpenAI beschreibt den begrenzten, experimentellen Start von ChatGPT-Plugins samt möglichem Nutzen und Sicherheitsrisiken; der Beitrag ist veraltet und belegt keine langfristigen Auswirkungen.
- Brief #29: What China's new AI safety framework tells us before Xi meets Trump
Chinas neuer, unverbindlicher KI-Sicherheitsrahmen behandelt laut Bericht ein breites und wachsendes Risikospektrum und könnte trotz politischer Differenzen Ansatzpunkte für internationalen Dialog bieten.
- Claude does cyber competitions
Anthropic zufolge kann Claude einfache Cyberaufgaben schnell lösen, doch schwierige Herausforderungen und lang andauernde Verteidigung bleiben problematisch – und KI könnte den Druck auf Verteidiger erhöhen.
- Detecting Strategic Deception Using Linear Probes
Lineare Probes können laut Apollo täuschende Llama-Antworten teils erkennen, bleiben aber fehleranfällig und müssen in schwierigeren Situationen weiter untersucht werden.
- Measuring AI agent autonomy in practice
- Can the finance sector oversee AI innovation while maintaining its rapid progress?
Der Bericht empfiehlt anpassungsfähige Aufsicht und praktische Auslegungshilfen, damit Finanzregeln mit KI Schritt halten, und beschreibt das FCA-Testprogramm als Beispiel ohne quantitative Wirkungsnachweise.
- Adam Gleave Named Schmidt Sciences AI2050 Early Career Fellow
- ClearHarm: A more challenging jailbreak dataset
- Strengthening cyber resilience as AI capabilities advance
OpenAI will mit gestaffelten Schutzmaßnahmen und neuen Verteidigungsinitiativen den Nutzen leistungsfähiger KI für Cybersicherheit erhöhen, während mehrere Programme noch geplant sind und vollständige Missbrauchsverhinderung laut Bericht nicht erreichbar ist.
- CAIS Research Roundup: AI Wellbeing, Identity, Political Bias and Betrayal
CAIS stellt Forschung zu KI-Wohlbefinden, Identität, politischer Verzerrung und Unterwanderungsrisiken vor, betont aber, dass subjektives Empfinden offen und keines der Probleme gelöst ist.
- Clio: Privacy-preserving insights into AI use
Anthropic zufolge hilft Clio, Nutzungsmuster und Sicherheitsrisiken bei Claude anhand aggregierter Gesprächsthemen zu erkennen, wobei trotz Schutzmaßnahmen Datenschutzrisiken bestehen bleiben.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →