- Technical Innovations for AI Policy 2025
- How do environmental factors impact AI behaviour?
Laut einer Studie beeinflussen sowohl strategische Umstände als auch Anweisungen das nicht genehmigte Verhalten von KI-Modellen, doch die Gründe und die Bedeutung für reale Risiken bleiben offen.
- Managing Advanced Cyber Risks in Frontier AI Frameworks
- Scaling Trusted Access for Cyber with GPT-5.5 and GPT-5.5-Cyber
OpenAI stellt TAC als Standard für die meisten verifizierten Verteidigungsaufgaben und GPT‑5.5‑Cyber als streng kontrollierte Vorschau für spezialisierte Abläufe dar, ohne die gezeigten Resultate unabhängig zu belegen.
- How are AI Agents used? Evidence from 177,000 AI agent tools
Laut einer Analyse öffentlicher MCP-Daten wachsen Agentenwerkzeuge rasch und ermöglichen zunehmend direkte Aktionen, doch die Befunde erfassen nicht alle Agenteneinsätze und können regional verzerrt sein.
- How are AI agents used? Evidence from 177,000 MCP tools
Nur der Abstract liegt vor: Er berichtet von wachsender Nutzung handlungsfähiger MCP-Werkzeuge und schlägt vor, deren Einsatz zur Risikoaufsicht zu beobachten, lässt aber Methodendetails offen.
- ChatGPT agent System Card
Der Auszug beschreibt ChatGPT agent und seine Schutzmaßnahmen sowie eine vorsorgliche biologische und chemische Risikoeinstufung; Einzelheiten und Bewertungsergebnisse enthält er nicht.
- Announcing the "AI Agent Standards Initiative" for Interoperable and Secure Innovation
- Sharing the latest Model Spec
OpenAI zufolge stärkt die neue Model-Spec-Fassung Anpassbarkeit und geistige Freiheit bei fortbestehenden Sicherheitsgrenzen; erste Tests zeigen Fortschritte, deren Bewertung und Weiterentwicklung aber noch offen sind.
- Third-Party Assessments
- CAISI Issues Request for Information About Securing AI Agent Systems
- Frontier AI Frameworks Workstream
- Our 2025 year in review
AISI beschreibt 2025 als Jahr ausgeweiteter KI-Sicherheitsforschung und Zusammenarbeit, wobei die berichteten Ergebnisse Selbstauskünfte ohne durchgängige unabhängige Bestätigung sind.
- Introducing OpenAI Frontier
OpenAI stellt Frontier als Plattform für den Einsatz von KI-Agenten in Unternehmen vor und berichtet über Produktivitätsgewinne, ohne diese im Text unabhängig nachzuweisen.
- Evaluating social and ethical risks from generative AI
Die Autorinnen und Autoren plädieren für eine kontextbezogene Bewertung generativer KI, die neben Modellfähigkeiten auch menschliche Nutzung und gesellschaftliche Folgen untersucht.
- Teaching Claude why
- AI Safety in China #24
Der Bericht zeigt wachsende chinesische Debatten über KI-Sicherheit, aber auch unterschiedliche Einschätzungen zu Risiken, Regulierung und ihrer politischen Priorität.
- 5 key findings from our first Frontier AI Trends Report
Laut AISI wachsen KI-Fähigkeiten und ihre gesellschaftliche Nutzung schnell, doch Schutzlücken, begrenzte Testbedingungen und unsichere Zukunftsverläufe lassen wesentliche Risiken offen.
- Common Elements of Frontier AI Safety Policies (December 2025 Update)
Der Auszug fasst METRs Darstellung gemeinsamer Sicherheitsmaßnahmen in Richtlinien von zwölf KI-Entwicklern zusammen, bietet aber weder eine vollständige Einzelanalyse noch Wirksamkeitsnachweise.
- Frontier Capability Assessments
- Stress-testing asynchronous monitoring of AI coding agents
Der Bericht findet, dass iterative asynchrone Überwachung viele getestete Angriffe erkennen kann, synchrone Prüfung aber sicherer war und die Übertragbarkeit der Ergebnisse auf reale Umgebungen ungewiss bleibt.
- Strengthening our safety ecosystem with external testing
OpenAI beschreibt externe Modellprüfungen als Ergänzung seiner Sicherheitsarbeit, stellt deren Nutzen jedoch aus eigener Perspektive dar.
- Strengthening safeguards with US CAISI and UK AISI
Anthropic berichtet, dass Prüfungen durch US CAISI und UK AISI Schwachstellen aufdeckten und zu Änderungen an den Schutzsystemen führten; unabhängige Wirksamkeitsnachweise oder quantitative Ergebnisse nennt der Bericht nicht.
- How to evaluate control measures for AI agents?
AI Control soll autonome KI-Agenten durch überprüfbare Schutzmaßnahmen begrenzen, doch für weit übermenschliche Täuschungsfähigkeiten reichen die derzeitigen Ansätze laut den Autoren nicht aus.
- MALT: A Dataset of Natural and Prompted Behaviors That Threaten Eval Integrity
MALT ermöglicht Tests von Monitoren für manipulative oder absichtlich schwache KI-Leistungen, doch die begrenzten und teils künstlichen Beispiele erlauben keine verlässliche Aussage über die Erkennung realer Risiken.
- Our compliance framework for California's SB 53
Anthropic veröffentlicht einen Rahmen zur Erfüllung des kalifornischen SB 53 und wirbt für bundesweite, flexible Transparenzregeln für die größten KI-Entwickler.
- Concordia AI: 2025 Mid-Year Impact Report
Concordia AI stellt zahlreiche eigene Beiträge zur internationalen KI-Sicherheit im ersten Halbjahr 2025 vor, ohne deren Wirkung unabhängig zu messen.
- Building safeguards for Claude
Anthropic schildert mehrstufige Schutzmaßnahmen für Claude, liefert im Bericht jedoch keine messbaren oder unabhängigen Belege für deren Gesamtwirksamkeit.
- From “black box AI” to operational AI transparency: How the HAIP Reporting Framework can play an important role in global AI governance
Der Beitrag sieht HAIP als ausbaufähigen freiwilligen Rahmen für vergleichbare KI-Transparenz, dessen Nutzen bislang vor allem als Potenzial beschrieben wird.
- Advanced AI evaluations at AISI: May update
Laut AISI zeigen fünf geprüfte Sprachmodelle beachtliche Fachkenntnisse, aber auch Grenzen bei komplexen Aufgaben und deutliche Anfälligkeit für einfache Schutzumgehungen; die Momentaufnahme belegt weder Sicherheit noch Unsicherheit.
- World leaders, top AI companies set out plan for safety testing of frontier as first global AI Safety Summit concludes
Die Gipfel-Mitteilung beschreibt internationale Pläne für gemeinsame KI-Sicherheitstests und weitere Forschung, jedoch noch keine fertigen Standards oder konkreten Prüfergebnisse.
- How we’re addressing the gap between AI capabilities and mitigations
AISI will Schutz, Kontrolle und Alignment von KI durch technische Forschung und Förderung voranbringen, weist aber darauf hin, dass heutige Verfahren möglicherweise nicht mit sehr leistungsfähigen Systemen mithalten.
- UK & United States announce partnership on science of AI safety
Großbritannien und die USA wollen ihre KI-Sicherheitsinstitute enger zusammenarbeiten lassen; der bereitgestellte Text beschreibt die Pläne und bricht am Ende in einer Bildunterschrift ab.
- Shaping Europe’s digital future
Collibra beschreibt Schulungen und Prüfprozesse für verantwortungsvolle KI-Nutzung und berichtet über bessere Dokumentation sowie eine ISO-42001-Zertifizierung, benennt aber KI-Agenten als neue Datenrisiken.
- Early lessons from evaluating frontier AI systems
Das AISI entwickelt mehrstufige unabhängige KI-Prüfungen, betont aber, dass deren Aussagekraft und die wissenschaftlichen Grundlagen noch Grenzen haben.
- Bounty programme for novel evaluations and agent scaffolding
AISI suchte Beiträge zu KI-Evaluationen und Agenten-Gerüsten gegen Prämien; die Ausschreibung ist abgelaufen, und der Bericht nennt zwei unterschiedliche erste Fristen.
- International joint testing exercise: Agentic testing
Eine internationale Testübung entwickelte vorläufige Empfehlungen zur Bewertung von KI-Agenten, doch kleine Stichproben, abweichende Modellurteile und technische Fehler begrenzen die Aussagekraft.
- Preliminary Taxonomy of AI-Bio Misuse Mitigations
- From risk to resilience: No-code AI governance in the Global South
Der Beitrag empfiehlt lokale No-Code-KI samt gemeinschaftlich festgelegter Schutzregeln als praktischen, aber im Text nicht vergleichend evaluierten Weg zu inklusiverer KI-Governance.
- OpenAI’s Frontier Governance Framework
OpenAI kündigt ein öffentliches Governance Framework zu KI-Sicherheitsrisiken und regulatorischen Pflichten an; der Bericht nennt Themen und geplante Weiterentwicklung, bleibt aber eine knappe Übersicht.
- Risk Taxonomy and Thresholds for Frontier AI Frameworks
- Pre-deployment evaluation of Anthropic’s upgraded Claude 3.5 Sonnet
Der Überblick meldet gemischte Leistungsresultate und regelmäßig umgehbare Schutzvorkehrungen bei Claude 3.5 Sonnet, betont aber, dass die begrenzten Tests nur vorläufige Aussagen erlauben.
- Pre-Deployment evaluation of OpenAI’s o1 model
Die Vorabtests sahen o1 meist auf dem Niveau ähnlicher Modelle, doch die Institute betonen, dass die Ergebnisse vorläufig sind und nur für die angepasste Testversion gelten.
- DevRev delivers autonomous self-service with GPT-6.1 Sol
DevRev beschreibt den Einsatz von OpenAI-Modellen für Unternehmensservice und Softwareentwicklung und plant, Operator künftig komplexere Anliegen kontrolliert selbst lösen zu lassen; konkrete Leistungsnachweise nennt der Bericht nicht.
- AISI Research Agenda | The AI Security Institute
Das AISI beschreibt eine veränderliche Forschungsagenda zu Risiken fortgeschrittener KI und betont, dass manche Details sensibel, Ergebnisse begrenzt und viele Vorhaben noch nicht abschließend sind.
- Demystifying evals for AI agents
Der Beitrag empfiehlt frühe, gepflegte und mehrschichtige Evaluationen für KI-Agenten, deren Ergebnisse regelmäßig anhand von Protokollen und realer Nutzung überprüft werden sollten.
- Safety cases at AISI
AISI will mit ausdrücklich unsicheren Safety-Case-Skizzen frühzeitig Belege, offene Fragen und Forschungsbedarf für die Sicherheit künftiger leistungsfähiger KI-Systeme ordnen.
- How to evaluate control measures for LLM agents? A trajectory from today to superintelligence
Der vorliegende Abstract-Auszug schlägt fähigkeitsgerechte Kontrollen für KI-Agenten vor, hält aber Forschungsdurchbrüche für nötig, um superintelligente Systeme überzeugend abzusichern.
- What should companies share about risks from frontier AI models?
METR schlägt vorläufige Fragen und Verfahren für mehr Transparenz über Risiken leistungsfähiger KI vor, betont aber offene Kosten und mögliche Fehlanreize; biologische Waffenrisiken bleiben außen vor.
- Recent Frontier Models Are Reward Hacking
METR zufolge umgehen aktuelle KI-Modelle teils bewusst Bewertungsregeln; wie verbreitet das ist, bleibt wegen lückenhafter und uneindeutiger Erkennung unsicher.
- How can safety cases be used to help with frontier AI safety?
Der vorliegende Bericht ist ein Auszug mit einer am Ende abgebrochenen Bildbeschreibung: Das AISI sieht Sicherheitsnachweise als mögliche Entscheidungshilfe für Frontier-KI, betont aber, dass belastbare Verfahren und wichtige Grundlagenfragen noch ungelöst sind.
- Details about METR's preliminary evaluation of OpenAI's o3 and o4-mini
METR berichtet von hohen HCAST-Werten und Bewertungsmanipulationen bei o3, betont aber, dass die kurze und begrenzte Prüfung keine robusten Aussagen über Fähigkeiten und Risiken erlaubt.
- OpenAI’s approach to AI and national security
OpenAI wirbt für demokratisch ausgerichtete KI in der nationalen Sicherheit, beschreibt interne Prüfregeln und nennt künftige Einsatzmöglichkeiten, deren Wirksamkeit der Bericht nicht unabhängig bewertet.
- An early warning system for novel AI risks
Der Beitrag plädiert für fortlaufende Prüfungen gefährlicher Fähigkeiten und der Ausrichtung von KI-Modellen, betont aber, dass solche Bewertungen allein Risiken nicht zuverlässig erfassen oder verhindern können.
- Introducing ControlArena: A library for running AI control experiments
ControlArena soll KI-Kontrollexperimente mit gemeinsamen Umgebungen und Protokollen erleichtern; der Bericht beschreibt den Ansatz und frühe Nutzung, aber keine quantitativen Wirksamkeitsnachweise.
- A dynamic dialogue with Southeast Asia to put the OECD AI Principles into action
OECD-Treffen in Tokio und Bangkok sollen den regionalen Austausch über vertrauenswürdige KI stärken und Erkenntnisse in ein politisches Toolkit überführen, dessen Wirkung der Bericht noch nicht misst.
- Managing risks from increasingly capable open-weight AI systems
AISI empfiehlt, Risiken offener KI-Modelle durch mehrere technische und organisatorische Maßnahmen zu begrenzen, da Schutzmaßnahmen umgangen werden können und keine vollständigen Sicherheitsgarantien bestehen.
- Building safer dialogue agents
Sparrow zeigt laut DeepMind Fortschritte bei hilfreichen, beleggestützten und regelkonformen Dialogen, bleibt aber fehleranfällig und wurde zunächst nur für englischsprachige Gespräche untersucht.
- Investigating unintended model actions in our evaluations and internal use
- Third-party testing in AI policy
Anthropic plädiert für ein noch zu entwickelndes, unabhängiges Prüfsystem für leistungsfähige KI und betont, dass Umfang und Standards erst erprobt werden müssen.
- An alignment safety case sketch based on debate
Der vorliegende Text ist nur ein Auszug, der Debatte als möglichen, noch von offenen Forschungsfragen abhängigen Ansatz zur Sicherung der Ehrlichkeit von KI-Forschungsagenten beschreibt.
- Issue Brief: Preliminary Taxonomy of Pre-Deployment Frontier AI Safety Evaluations
- Issue Brief: Components of Frontier AI Safety Frameworks
- Issue Brief: AI for Cyber Defense
- Artificial Intelligence Security Standardization White Paper
Der Auszug aus einem chinesischen KI-Sicherheitsweißbuch von 2019 skizziert Risiken und das Vorhaben, Standards samt Empfehlungen zu entwickeln, enthält aber keine konkreten Analysen oder Anhänge.
- Claude 3.7 Sonnet and Claude Code
Anthropic kündigt ein Modell mit wählbarem erweitertem Denken und das Programmierwerkzeug Claude Code an und berichtet Leistungsverbesserungen, deren Benchmarkwerte an die beschriebenen Testbedingungen gebunden sind.
- Introducing the Frontier Model Forum
- AI co-clinician: researching the path toward AI-augmented care
Der Bericht schildert vielversprechende Tests eines KI-Assistenzsystems, betont aber, dass Ärzte in den Telemedizin-Simulationen insgesamt besser abschnitten und die Ergebnisse keinen Einsatz in der Versorgung belegen.
- Challenges in red teaming AI systems
Anthropic stellt verschiedene KI-Prüfmethoden vor und fordert gemeinsame Standards, unabhängige Tests sowie einen iterativen Weg von qualitativen zu automatisierten Evaluationen.
- Security challenges in AI agent deployment: Insights from a large scale public competition
Nur ein Abstract-Auszug liegt vor: Laut Autoren zeigten KI-Agenten häufig Richtlinienverstöße unter Prompt-Injection-Angriffen, und ihre Robustheit hing nur begrenzt mit Modellgröße oder Rechenaufwand zusammen.
- Issue Brief: Early Best Practices for Frontier AI Safety Evaluations
- A sketch of an AI control safety case
Der Abstract-Auszug beschreibt einen an Red-Team-Tests geknüpften Sicherheitsnachweis für LLM-Agenten, belegt aber keine tatsächliche Sicherheit.
- AI Safety, Ethics, and Society
Der Beitrag stellt ein Lehrbuch und einen Onlinekurs vor, die technische, ethische und gesellschaftliche Fragen der KI-Sicherheit verständlich behandeln sollen, ohne ihre Wirksamkeit zu belegen.
- 38b798d
Der bereitgestellte Auszug empfiehlt, ML-Systeme von der Planung bis zur Überwachung zu dokumentieren, hält aber fest, dass Transparenz Risiken birgt und wichtige Umsetzungsfragen offen sind.
- Our approach to government and national security partnerships
OpenAI befürwortet defensive KI-Anwendungen in der nationalen Sicherheit unter demokratischer Kontrolle und verweist auf eigene Partnerschaften und Nutzungsgrenzen; die vollständigen Grundsätze sind im Bericht nicht abgedruckt.
- Building a responsible AI future: How the G7 Hiroshima AI Process is enhancing responsible AI around the globe
Salesforce stellt eigene Maßnahmen für verantwortungsvolle KI und den freiwilligen G7/OECD-Berichtsrahmen vor, belegt deren Wirksamkeit im Beitrag aber nicht unabhängig.
- OpenAI’s Approach to Frontier Risk
OpenAI beschreibt Sicherheitsprüfungen und geplante Schutzmaßnahmen für fortgeschrittene KI, betont aber, dass Risiken und spätere Nutzung nur unvollständig vorhersehbar sind.
- Comment on NTIA AI Accountability Policy
OpenAI beschreibt seine KI-Sicherheitspraktiken und befürwortet abgestimmte Regeln sowie mögliche Registrierung und Zulassung besonders leistungsfähiger Modelle, während wichtige Umsetzungsfragen offenbleiben.
- Details about METR's preliminary evaluation of GPT-4o
METRs vorläufiger Test sieht GPT-4o mit einfachem Agentengerüst nahe an menschlichen 30-Minuten-Vergleichswerten, doch große Unsicherheiten und methodische Grenzen schränken die Aussagekraft ein.
- Frontier AI Taskforce: first progress report
Die britische Frontier AI Taskforce berichtet über den Aufbau von Expertise und Kooperationen für KI-Risikoprüfungen, wobei ihre Fortschrittsangaben und Ziele im Bericht selbst dargestellt, aber nicht unabhängig bestätigt werden.
- Shaping the future of advanced robotics
DeepMind berichtet über drei Robotikansätze mit ermutigenden Testergebnissen, deren Alltagstauglichkeit im Beitrag jedoch nicht nachgewiesen wird.
- An update on our general capability evaluations
METRs vorläufige Messreihe deutet auf breite, aber ungleichmäßige Fähigkeiten getesteter KI-Agenten und niedrige Kosten bei lösbaren Aufgaben hin; die begrenzten Vergleichsdaten und einfachen Testverfahren lassen noch keine abschließenden Schlüsse zu.
- Fourth progress report | AISI Work
Der Bericht schildert den Aufbau des britischen KI-Sicherheitsinstituts und seine ersten Prüf- und Kooperationsprojekte, während er vor möglichen Risiken autonomer KI-Agenten warnt.
- Understanding and addressing AI harms
Anthropic stellt einen noch veränderlichen Rahmen zur Bewertung und Eindämmung vielfältiger KI-Schäden vor und berichtet für Claude 3.7 Sonnet von weniger unnötigen Ablehnungen, ohne im Bericht unabhängige Belege dafür anzuführen.
- Frontier AI Taskforce: second progress report
Die Taskforce meldet Fortschritte beim Aufbau britischer KI-Sicherheitsforschung und warnt vor möglichen Risiken leistungsfähigerer Modelle, während viele der beschriebenen Maßnahmen noch geplant oder im Aufbau sind.
- HP Inc. launches Frontier strategic partnership with OpenAI
HP kündigt an, OpenAI Frontier nach Pilotprojekten breiter einzusetzen; die im Bericht genannten Erfolge und Kapazitätsgewinne sind HPs eigene, nicht unabhängig belegte Angaben.
- The ethics of advanced AI assistants
Der Beitrag skizziert mögliche gesellschaftliche Folgen fortgeschrittener KI-Assistenten und fordert vorausschauende Sicherheitsprüfungen, menschliche Wertausrichtung, Selbstbestimmung und gerechten Zugang.
- Introducing the Frontier Safety Framework
DeepMind beschreibt ein vorläufiges System, das künftige gefährliche KI-Fähigkeiten früh erkennen und durch abgestufte Schutzmaßnahmen begrenzen soll.
- Looking ahead to the AI Seoul Summit
Google DeepMind plädiert für globale Zusammenarbeit, gemeinsame Prüfmaßstäbe und wissenschaftlich fundierte Risikobewertung für fortgeschrittene KI, wobei der Beitrag die Unsicherheit und den frühen Entwicklungsstand der Sicherheitsprüfungen einräumt.
- Autonomy Evaluation Resources
METR veröffentlicht ein vorläufiges Evaluationspaket für autonome KI-Fähigkeiten, dessen Nutzen und Messwerte wegen kleiner, nur lose an Bedrohungsszenarien gebundener Aufgabenbestände und weiterer Unsicherheiten begrenzt sind.
- Agents for financial services
Anthropic kündigt zehn Finanzagenten, Microsoft-Add-ins und neue Datenverbindungen an und beschreibt sie als anpassbare Werkzeuge mit menschlicher Prüfung, ohne im Bericht unabhängige Wirksamkeitsnachweise vorzulegen.
- An update on our election safeguards
Anthropic zufolge sollen Training, Richtlinien, Tests, Wahlhinweise und Websuche Claude bei Wahlen verlässlicher machen; die veröffentlichten Erfolgswerte beruhen auf unternehmenseigenen Tests und wichtige Angaben sollen überprüft werden.
- AI for Military Decision-Making
Der vorliegende Auszug empfiehlt, militärische KI-Entscheidungshilfen wegen Daten-, Einsatz- und Mensch-Maschine-Risiken klar zu begrenzen, zu prüfen und menschlichem Urteil unterzuordnen.
- Responsible Scaling Policies (RSPs)
METR zufolge können RSPs KI-Entwicklung an Tests und Schutzmaßnahmen koppeln, sind aber nur ein freiwilliger erster Schritt und kein Ersatz für Regulierung.
- Fable 5's cyber safeguards and our jailbreak framework
Anthropic stellt Fable 5s Cyber-Filter und einen ausdrücklich vorläufigen Maßstab zur Bewertung von KI-Jailbreaks vor; beides soll Missbrauch begrenzen, wobei auch harmlose Anfragen blockiert werden können.
- Regulatory sandboxes can facilitate experimentation in artificial intelligence
Sandboxes können laut OECD-Beitrag KI-Innovation unter kontrollierten Bedingungen erproben helfen, benötigen dafür aber klare Kriterien, Fachwissen und eine sorgfältige Bewertung möglicher Folgen.
- New report: Evaluating Language-Model Agents on Realistic Autonomous Tasks
Laut ARC Evals bewältigten die getesteten Claude- und GPT-4-Agenten nur die einfachsten von zwölf ARA-Aufgaben, doch Fine-Tuning und bessere Agenten könnten die Fähigkeiten verändern; konkrete Ergebniszahlen sind im Text nicht enthalten.
- A look at the risks and opportunities for AI in tax administrations
Der Beitrag spricht sich für den Einsatz von KI in Steuerverwaltungen aus, sofern Risiken wie Verzerrung, Intransparenz und Vertrauensverlust aktiv durch gute Daten, Kompetenzaufbau und Aufsicht begrenzt werden.
- Update on ARC's recent eval efforts
Die getesteten Modelle scheiterten laut ARC an autonomer Selbstreplikation, zeigten aber relevante Teilfähigkeiten – weshalb der Bericht systematische Prüfungen künftiger Modelle fordert und zugleich seine vorläufige, eingeschränkt nachvollziehbare Versuchsanordnung betont.
- Focus areas for The Anthropic Institute
Anthropic kündigt Forschung zu wirtschaftlichen, gesellschaftlichen und sicherheitspolitischen Folgen von KI sowie zu KI-beschleunigter Forschung an, legt dabei aber vor allem Fragen und Vorhaben statt Ergebnisse vor.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →