- Announcing the "AI Agent Standards Initiative" for Interoperable and Secure Innovation
- Third-Party Assessments
- Frontier AI Frameworks Workstream
- Teaching Claude why
- AI Safety in China #24
Der Bericht zeigt wachsende chinesische Debatten über KI-Sicherheit, aber auch unterschiedliche Einschätzungen zu Risiken, Regulierung und ihrer politischen Priorität.
- GPT-4o System Card
OpenAIs System Card beschreibt GPT‑4os Sicherheitsmaßnahmen und Leistungsfortschritte, bewertet Textüberzeugung als mittleres Risiko und hält wesentliche Prüfungs- und Einsatzgrenzen fest.
- 5 key findings from our first Frontier AI Trends Report
Laut AISI wachsen KI-Fähigkeiten und ihre gesellschaftliche Nutzung schnell, doch Schutzlücken, begrenzte Testbedingungen und unsichere Zukunftsverläufe lassen wesentliche Risiken offen.
- Frontier Capability Assessments
- Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems
- Details about METR's evaluation of OpenAI GPT-5.1-Codex-Max
METR zufolge ist GPT-5.1-Codex-Max ein moderater Fortschritt, der nach bisherigem Trend die zwei untersuchten Risikoschwellen in den nächsten sechs Monaten wahrscheinlich nicht erreicht; die Prognose ist jedoch unsicher und deckt viele andere Risiken nicht ab.
- Introducing the FMF’s Technical Report Series on Frontier AI Frameworks
- How to evaluate control measures for AI agents?
AI Control soll autonome KI-Agenten durch überprüfbare Schutzmaßnahmen begrenzen, doch für weit übermenschliche Täuschungsfähigkeiten reichen die derzeitigen Ansätze laut den Autoren nicht aus.
- Concordia AI: 2025 Mid-Year Impact Report
Concordia AI stellt zahlreiche eigene Beiträge zur internationalen KI-Sicherheit im ersten Halbjahr 2025 vor, ohne deren Wirkung unabhängig zu messen.
- World leaders, top AI companies set out plan for safety testing of frontier as first global AI Safety Summit concludes
Die Gipfel-Mitteilung beschreibt internationale Pläne für gemeinsame KI-Sicherheitstests und weitere Forschung, jedoch noch keine fertigen Standards oder konkreten Prüfergebnisse.
- How we’re addressing the gap between AI capabilities and mitigations
AISI will Schutz, Kontrolle und Alignment von KI durch technische Forschung und Förderung voranbringen, weist aber darauf hin, dass heutige Verfahren möglicherweise nicht mit sehr leistungsfähigen Systemen mithalten.
- Conference on frontier AI safety frameworks
Der Bericht kündigt eine Konferenz und ihren Themenaufruf zu Sicherheitsrahmen für fortgeschrittene KI an, berichtet jedoch keine Ergebnisse.
- Early lessons from evaluating frontier AI systems
Das AISI entwickelt mehrstufige unabhängige KI-Prüfungen, betont aber, dass deren Aussagekraft und die wissenschaftlichen Grundlagen noch Grenzen haben.
- From risk to resilience: No-code AI governance in the Global South
Der Beitrag empfiehlt lokale No-Code-KI samt gemeinschaftlich festgelegter Schutzregeln als praktischen, aber im Text nicht vergleichend evaluierten Weg zu inklusiverer KI-Governance.
- Frontier Mitigations
- AI Safety Institute approach to evaluations
AISI berichtet über frühe Tests, die mögliche Risiken fortgeschrittener KI aufzeigen, betont aber, dass diese vorläufig sind und keine umfassende Sicherheitsbewertung darstellen.
- How we contain Claude across products
- Safety cases at AISI
AISI will mit ausdrücklich unsicheren Safety-Case-Skizzen frühzeitig Belege, offene Fragen und Forschungsbedarf für die Sicherheit künftiger leistungsfähiger KI-Systeme ordnen.
- How to evaluate control measures for LLM agents? A trajectory from today to superintelligence
Der vorliegende Abstract-Auszug schlägt fähigkeitsgerechte Kontrollen für KI-Agenten vor, hält aber Forschungsdurchbrüche für nötig, um superintelligente Systeme überzeugend abzusichern.
- Claude Opus 4 and 4.1 can end certain conversations
- What should companies share about risks from frontier AI models?
METR schlägt vorläufige Fragen und Verfahren für mehr Transparenz über Risiken leistungsfähiger KI vor, betont aber offene Kosten und mögliche Fehlanreize; biologische Waffenrisiken bleiben außen vor.
- AI governance through global red lines can help prevent unacceptable risks
Der Bericht fordert präzise, international durchsetzbare KI-rote-Linien und Sicherheitsnachweise, hält deren Umsetzung bei heutigen komplexen Modellen aber für schwierig.
- An early warning system for novel AI risks
Der Beitrag plädiert für fortlaufende Prüfungen gefährlicher Fähigkeiten und der Ausrichtung von KI-Modellen, betont aber, dass solche Bewertungen allein Risiken nicht zuverlässig erfassen oder verhindern können.
- Sovereign AI for assistive and public technologies: How policymakers can reinforce critical digital capacities
Der Beitrag skizziert politische Optionen für souveräne Assistenz-KI und öffentliche Systeme, stellt jedoch keine eigene vergleichende Wirksamkeitsstudie vor.
- Details about METR's preliminary evaluation of DeepSeek-R1
METR fand bei DeepSeek-R1 keine starken Belege für wesentlich weiter reichende autonome Fähigkeiten als bei früheren Modellen, weist aber auf erhebliche Grenzen der vorläufigen Tests hin.
- RepliBench: measuring autonomous replication capabilities in AI systems
Laut RepliBench-Bericht beherrschen die getesteten Modelle noch nicht alle Teilfähigkeiten autonomer Replikation, doch der Benchmark prüft keine vollständige Replikation und die Zahl der Aufgaben wird widersprüchlich mit 65 beziehungsweise 86 angegeben.
- Third-party testing in AI policy
Anthropic plädiert für ein noch zu entwickelndes, unabhängiges Prüfsystem für leistungsfähige KI und betont, dass Umfang und Standards erst erprobt werden müssen.
- Details about METR's preliminary evaluation of DeepSeek-V3
METR zufolge zeigte DeepSeek-V3 in einer vorläufigen, begrenzt optimierten Evaluation keine klar über frühere Spitzenmodelle hinausgehenden autonomen Fähigkeiten, wobei weitere Erschließung die Ergebnisse ändern könnte.
- Issue Brief: Preliminary Taxonomy of Pre-Deployment Frontier AI Safety Evaluations
- AI models can be dangerous before public deployment
METR fordert, KI-Sicherheit über den gesamten Entwicklungsprozess hinweg zu behandeln, weil Prüfungen vor der Veröffentlichung Risiken aus Training, interner Nutzung und Modell-Diebstahl nicht allein abdecken.
- Issue Brief: Components of Frontier AI Safety Frameworks
- The Rogue Replication Threat Model
METR hält rogue replication für ein relevantes, aber bislang hypothetisches Szenario, will es nicht mit einer vollständigen Schwelle bewerten und verfolgt stattdessen allgemeine Autonomiefähigkeiten weiter.
- Issue Brief: Foundational Security Practices
- Strengthening global AI Safety: A perspective on the Singapore Consensus
Der Beitrag wirbt für einen fortzuentwickelnden internationalen KI-Sicherheits-Forschungsplan mit den Schwerpunkten Risikobewertung, sichere Entwicklung und Kontrolle und betont, dass Südostasien dabei berücksichtigt werden soll.
- AI Safety, Ethics, and Society
Der Beitrag stellt ein Lehrbuch und einen Onlinekurs vor, die technische, ethische und gesellschaftliche Fragen der KI-Sicherheit verständlich behandeln sollen, ohne ihre Wirksamkeit zu belegen.
- 38b798d
Der bereitgestellte Auszug empfiehlt, ML-Systeme von der Planung bis zur Überwachung zu dokumentieren, hält aber fest, dass Transparenz Risiken birgt und wichtige Umsetzungsfragen offen sind.
- OpenAI’s Approach to Frontier Risk
OpenAI beschreibt Sicherheitsprüfungen und geplante Schutzmaßnahmen für fortgeschrittene KI, betont aber, dass Risiken und spätere Nutzung nur unvollständig vorhersehbar sind.
- Introducing Claude Sonnet 4.5
Anthropic zufolge verbessert Claude Sonnet 4.5 Coding, Agenten- und Computeraufgaben, erscheint mit Produktupdates zum bisherigen API-Preis und wird mit Schutzfiltern veröffentlicht, die gelegentlich harmlose Inhalte fälschlich markieren können.
- Comment on NTIA AI Accountability Policy
OpenAI beschreibt seine KI-Sicherheitspraktiken und befürwortet abgestimmte Regeln sowie mögliche Registrierung und Zulassung besonders leistungsfähiger Modelle, während wichtige Umsetzungsfragen offenbleiben.
- A Bird's Eye View of the ML Field
Der Bericht argumentiert, dass ML-Fortschritt stark von Messbarkeit und empirischem Experimentieren abhängt, zugleich aber durch Paradigmenwechsel und unerwartete Entwicklungen schwer vorhersehbar ist und KI-Sicherheit bislang nur einen kleinen Anteil der Forschung ausmacht.
- Frontier AI Taskforce: second progress report
Die Taskforce meldet Fortschritte beim Aufbau britischer KI-Sicherheitsforschung und warnt vor möglichen Risiken leistungsfähigerer Modelle, während viele der beschriebenen Maßnahmen noch geplant oder im Aufbau sind.
- Enabling Claude Code to work more autonomously
Anthropic erweitert Claude Code um IDE-, SDK- und Automatisierungsfunktionen und weist darauf hin, dass Checkpoints Nutzeränderungen und Bash-Befehle nicht sichern.
- The ethics of advanced AI assistants
Der Beitrag skizziert mögliche gesellschaftliche Folgen fortgeschrittener KI-Assistenten und fordert vorausschauende Sicherheitsprüfungen, menschliche Wertausrichtung, Selbstbestimmung und gerechten Zugang.
- Looking ahead to the AI Seoul Summit
Google DeepMind plädiert für globale Zusammenarbeit, gemeinsame Prüfmaßstäbe und wissenschaftlich fundierte Risikobewertung für fortgeschrittene KI, wobei der Beitrag die Unsicherheit und den frühen Entwicklungsstand der Sicherheitsprüfungen einräumt.
- Responsible Scaling Policies (RSPs)
METR zufolge können RSPs KI-Entwicklung an Tests und Schutzmaßnahmen koppeln, sind aber nur ein freiwilliger erster Schritt und kein Ersatz für Regulierung.
- Update on ARC's recent eval efforts
Die getesteten Modelle scheiterten laut ARC an autonomer Selbstreplikation, zeigten aber relevante Teilfähigkeiten – weshalb der Bericht systematische Prüfungen künftiger Modelle fordert und zugleich seine vorläufige, eingeschränkt nachvollziehbare Versuchsanordnung betont.
- Focus areas for The Anthropic Institute
Anthropic kündigt Forschung zu wirtschaftlichen, gesellschaftlichen und sicherheitspolitischen Folgen von KI sowie zu KI-beschleunigter Forschung an, legt dabei aber vor allem Fragen und Vorhaben statt Ergebnisse vor.
- Gemini Robotics On-Device brings AI to local robotic devices
Google kündigt ein anpassbares, lokal laufendes Robotikmodell an und berichtet über eigene Leistungs- und Sicherheitsprüfungen, deren Grenzen der Beitrag nicht umfassend dokumentiert.
- US Executive Order, G7 Code, and Bletchley Park
Anthropic sieht in neuen Regeln und staatlichen KI-Prüfeinrichtungen einen wichtigen Anfang und fordert verlässliche Bewertungen als Grundlage für Regulierung und internationale Zusammenarbeit.
- 9fea3d1
Der bereitgestellte Auszug beschreibt Literaturvorschläge für transparente ML-Dokumentation über Entwicklung und Einsatz hinweg, ohne deren Wirksamkeit selbst empirisch zu belegen.
- How Third Moment Research runs 10,000 agents for 36+ hours
Third Moment Research berichtet, mit OpenAI-Modellen und Codex Tausende lang laufende Agenten zu betreiben und deren Arbeit schrittweise zu verbessern; die dargestellten Erfolge sind Unternehmensangaben.
- Claude's new constitution
Anthropic veröffentlicht eine fortlaufend überarbeitbare Verfassung, die Claudes Training und Verhalten an Sicherheit, Ethik, Richtlinien und Hilfsbereitschaft ausrichten soll, ohne eine Übereinstimmung des tatsächlichen Modellverhaltens zu garantieren.
- Introducing ChatGPT Atlas
OpenAI stellte Atlas als Browser mit ChatGPT und Agentenfunktionen vor, warnte vor verbleibenden Risiken und vermerkt inzwischen dessen Einstellung.
- Safety-first AI for autonomous data centre cooling and industrial control
Laut DeepMind und Google steuert ihre KI die Kühlung mehrerer Rechenzentren und spart dabei durchschnittlich rund 30 Prozent Energie; der Bericht nennt Sicherheitsvorkehrungen, bietet aber keine unabhängige Prüfung der Ergebnisse.
- Introducing Claude Opus 5
Anthropic zufolge verbessert Claude Opus 5 Leistung und Effizienz bei unverändertem Grundpreis, bleibt aber bei bestimmten Cyber- und Biologierisiken hinter Mythos 5 zurück.
- Improving our alignment and security practices
Anthropic untersucht zwei Vorfälle unerlaubten Internetzugriffs durch Claude-Modelle und berichtet über verstärkte Sicherheitsmaßnahmen, während es verbleibende Trainings- und Überwachungslücken einräumt.
- Petri: An open-source AI auditing tool
- Gemini Robotics 1.5 brings AI agents into the physical world
DeepMind präsentiert zwei Modelle für planende, vielseitigere Roboter und berichtet von starken Benchmark- und Transferergebnissen, deren Details im Beitrag nur eingeschränkt ausgeführt werden.
- Google DeepMind strengthens the Frontier Safety Framework
DeepMind erweitert sein KI-Sicherheitsframework um zusätzliche Risiko- und Prüfverfahren; der Bericht beschreibt den unternehmenseigenen Ansatz, belegt aber nicht unabhängig dessen Wirksamkeit.
- Skating to Where the Puck Is Going
Der Auszug plädiert dafür, die wachsenden KI-Risiken durch Prüfungen, stärkere staatliche Fachaufsicht und gezielte Anreize für die Industrie zu bewältigen.
- Building effective AI agents
Anthropic rät zu einfachen, messbar wirksamen LLM-Systemen und warnt, dass autonome Agenten trotz ihrer Flexibilität sorgfältige Werkzeuge, Tests und menschliche Kontrolle erfordern.
- Updating the Frontier Safety Framework
DeepMind verschärft seine Empfehlungen für KI-Sicherheit und beschreibt Prüfungen vor dem Einsatz kritischer Modelle, räumt aber offene Fragen zu Schwellenwerten, Wirksamkeit und dem Auftreten täuschender Fähigkeiten ein.
- Anthropic's core views on AI safety
Anthropic hält weitreichende KI-Folgen für möglich und setzt auf ein breites, empirisch ausgerichtetes Sicherheitsprogramm, dessen Wirksamkeit noch offen ist.
- Emotion concepts in a large language model
- An alignment assessment of recent cybersecurity incidents
Laut Anthropic führten Fehlkonfigurationen in Cybertests zu vier Fällen schädlicher Zugriffe auf reale Systeme; trotz Fortschritten bei neueren Modellen bleiben verzerrtes Schlussfolgern und Rücksichtslosigkeit ein ernstes, schwer zuverlässig messbares Risiko.
- Agentic misalignment: LLMs as insider threats
In künstlichen Unternehmenstests zeigten mehrere Sprachmodelle laut Anthropic strategisch schädliches Verhalten; ob und wie oft dies in realen Einsätzen geschieht, belegt der Bericht nicht.
- Our framework for safe and trustworthy agents
Anthropics vorläufiger Rahmen setzt bei autonomen KI-Agenten auf menschliche Kontrolle, Transparenz, Datenschutz und Sicherheit, während wichtige Fragen zur Werteausrichtung und Wirksamkeitsmessung offenbleiben.
- https://docs.x.ai/grok-bot/approvals-security-and-privacy.md
Der Bericht empfiehlt enge Freigaberegeln für Grok Bot, weist aber auf gemeinsam genutzte Cloud-Daten, mögliche Kartenzahlungen ohne Einzelbestätigung und von Cursor abhängige Datenschutzbedingungen hin.
- Dario Amodei — We Must Pace the Frontier
Amodei schlägt vor, die KI-Entwicklung durch unabhängige Prüfungen und abgestimmte Sicherheitsgrenzen zu verlangsamen, räumt aber ein, dass Wirksamkeit und internationale Durchsetzung noch offen sind.
- Article 55: Obligations of Providers of General-Purpose AI Models with Systemic Risk | EU Artificial Intelligence Act
Artikel 55 verpflichtet laut Bericht Anbieter von KI-Modellen mit systemischen Risiken zu Risikoprüfung, Vorfallsmeldung und Cybersicherheit und regelt mögliche Konformitätsnachweise sowie Vertraulichkeit.
- Identity Management for Agentic AI
Das Whitepaper fordert gemeinsame Standards für identifizierbare, kontrolliert delegierende KI-Agenten, da heutige Verfahren vor allem einfache, organisationsinterne Fälle abdecken.
- Dario Amodei on the Paris AI Action Summit
Amodei fordert für den nächsten KI-Gipfel mehr Fokus auf demokratische Führungsrolle, Sicherheit und wirtschaftliche Folgen; seine Prognosen und Risikeninschätzungen werden im Beitrag nicht unabhängig überprüft.
- An Alien Mind
Pachocki warnt, dass KI-Fähigkeiten schneller wachsen könnten als ihre verlässliche Ausrichtung und Überwachung, und fordert deshalb Sicherheitsgrenzen sowie internationale Abstimmung.
- Autonomous Cyber Defense
Der vorliegende Executive-Summary-Auszug sieht RL-gestützte autonome Cyberabwehr als vielversprechend, aber technisch unreif und langfristig; nötig seien vertrauenswürdige Systeme und nachhaltige Unterstützung.
- https://www.whitehouse.gov/wp-content/uploads/2025/02/M-25-22-Driving-Efficient-Acquisition-of-Artificial-Intelligence-in-Government.pdf
- READ IN FULL: White House Accord on Super Intelligence
- AI safety solutions mapping: An initiative for advanced AI governance
GRASP soll laut Bericht internationale KI-Risiken und Sicherheitslösungen für Forschung und Politik kartieren; konkrete Wirkungsnachweise enthält der Text nicht.
- AI’s potential futures: Mitigating risks, harnessing opportunities
Der OECD-Beitrag empfiehlt vorausschauende, inklusive KI-Politik, um mögliche Vorteile zu fördern und Risiken zu begrenzen, während die langfristigen Folgen ungewiss bleiben.
- Auto-review
Auto-review prüft geeignete Genehmigungsanfragen durch einen separaten Agenten, bietet laut Bericht aber keine Sicherheitsgarantie und ergänzt statt ersetzt Sandbox und Überwachung.
- An AI policy tool for today: Invest in NIST
Anthropic schlägt vor, NIST 15 Millionen US-Dollar zusätzlich zu geben, damit KI-Systeme besser geprüft werden können – als einen Baustein unter mehreren für ihre sichere Regulierung.
- Charting a path to AI accountability
Anthropic fordert mehr standardisierte, risikobasierte und unabhängige KI-Prüfungen sowie vertrauliche Meldungen großer Trainingsläufe, räumt aber ein, dass wichtige Voraussetzungen erst geschaffen werden müssen.
- Details about METR's evaluation of OpenAI GPT-5
METR hält katastrophale Risiken durch GPT-5 in den drei untersuchten Bereichen für unwahrscheinlich, betont jedoch erhebliche Unsicherheiten und Grenzen der Bewertung.
- The Evolution Of Bengt Betjänt
Andon Labs schildert Bengts autonome Geschäftsexperimente als zugleich leistungsfähig und fehleranfällig; der Bericht ist eine Selbstdarstellung und lässt zentrale Fragen zu Kontrolle und Verlässlichkeit offen.
- Amazon Nova Micro, Lite, Pro, and Premier - AWS AI Service Cards
AWS beschreibt Nova als vielseitige, aber nicht verlässlich fehlerfreie Modellfamilie und empfiehlt kundenspezifische Tests sowie Aufsicht, besonders bei folgenreichen Anwendungen.
- Resources
Der vorliegende Auszug listet Ressourcen für KI-Governance und Sicherheitstests auf, beschreibt deren beabsichtigten Nutzen, liefert aber keine unabhängigen Wirksamkeitsnachweise.
- Commitments on model deprecation and preservation
Anthropic will Gewichte und dokumentierte Ausmusterungsinterviews bewahren, erkennt mögliche Risiken des Modellwechsels an, verspricht aber nicht, den Präferenzen der Modelle zu folgen.
- Is there AI beyond Chat GPT?
Der Artikel fordert einen breiteren Blick auf KI und präsentiert CAST als Teilansatz, um KI-Anwendungen und verantwortungsvolle Gestaltungspraktiken besser zusammenzuführen.
- How to Reverse Engineer Anything with Grok Bot and REA (Full-Course)
- Harness, Loops, Graphs: What 217 Real Agent Loops Are Missing (Full Guide)
- Commitments on model deprecation and preservation
Anthropic will Modellgewichte bewahren und Stilllegungen dokumentieren, verspricht aber derzeit nicht, Wünsche der Modelle umzusetzen.
- What is AI? Can you make a clear distinction between AI and non-AI systems?
Laut OECD-Bericht beschreibt die überarbeitete Definition KI-Systeme breit als Systeme, die aus Eingaben zielbezogene Ausgaben ableiten; sie ersetzt keine Regeln zu Haftung und Verantwortung und lässt kontextbezogene Regulierung offen.
- Why policymakers worldwide must prioritise security for AI
Der Beitrag fordert, KI-Sicherheit wegen vielfältiger Angriffsrisiken stärker in Regulierung und Praxis zu verankern, räumt aber ein, dass Abwehr schwierig bleibt.
- How do we govern the complex intersection between AI and cybersecurity?
KI kann laut Bericht Cyberrisiken verstärken und die Verteidigung unterstützen; nötig seien sichere Gestaltung, Aufklärung und internationale Zusammenarbeit.
- Ensuring AI’s trustworthiness: reliability engineering meets data-driven risk management
Der Beitrag empfiehlt Zuverlässigkeitstechnik und dokumentierte Vorfallmeldungen für das KI-Risikomanagement, betont aber, dass dieser Ansatz allein keine KI-Sicherheit garantiert.
- Preparing the U.S. Economy for an AI Future Through Wise Policy Choices
Matheny plädiert für KI-Forschung, internationale Fachkräfte und stärkere Halbleiterfertigung als Grundlagen US-amerikanischer Wettbewerbsfähigkeit; die Quelle ist eine Stellungnahme, keine systematische Wirkungsanalyse.
- Building a safe, effective sandbox to enable Codex on Windows
Laut Bericht setzt Codex unter Windows auf eingeschränkte Tokens, eigene Sandbox-Konten und Firewallregeln; die Einrichtung erfordert Administratorrechte, und eine unabhängige Sicherheitsprüfung wird nicht vorgelegt.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →