- How we detect frontier model misalignment
OpenAI berichtet über ein mehrstufiges System zur Überwachung leistungsfähiger KI-Agenten, dessen Tests Erfolge, aber auch Erkennungslücken und betriebliche Grenzen zeigen.
- Lessons From Red-teaming Auto-review, OpenAI's Blocking Monitor
- New AILuminate Safety and Jailbreak Results, 27 Systems
MLCommons’ neue Benchmarks bewerten, wie textbasierte KI schädliche Antworten vermeidet und auf veröffentlichte Jailbreak-Angriffe reagiert, decken laut Bericht aber nur begrenzte englischsprachige Ein-Turn-Tests ab.
- Transparency Disclosures for Chain-of-Thought Monitorability
- What affects chain-of-thought monitorability across the model lifecycle?
Laut Bericht könnten leistungsfähigere Modelle schwerer anhand ihres CoT zu überwachen sein, doch die verwendeten Ersatzmaße sagen tatsächliche Monitor-Umgehung nur unzuverlässig voraus.
- Introducing Claude Fable 5.2 and Claude Mythos 5.2
Anthropic berichtet von Leistungsfortschritten bei Fable 5.2 und Mythos 5.2, betont deren Schutzmaßnahmen und weist zugleich auf Grenzen der eigenen Tests und Benchmarkvergleiche hin.
- OpenAI’s data suggests that frontier models are hiding their thoughts because developers optimize for capability and compute
OpenAI zufolge wird die Überwachung von KI-Gedankengängen durch konkrete Trainings- und Architekturentscheidungen erschwert; praktikable Kontrolle muss daher über das bloße Mitlesen sichtbarer Zwischenschritte hinausgehen.
- Policy paper proposes five chain-of-thought disclosures for AI labs and finds none of the three it audits covers the full set
Die Studie schlägt fünf CoT-Offenlegungen vor, findet bei drei KI-Anbietern aber nur den Vergleich der Überwachungsleistung vollständig dokumentiert und erklärt ihre Bewertungen wegen methodischer Grenzen für vorläufig.
- 发改委:对于人工智能就业替代风险,要强化监测预警
Der Bericht stellt chinesische Pläne und Expertenvorschläge vor, KI-Beschäftigungsrisiken durch Regulierung, soziale Sicherung und neue Arbeitsfelder zu begegnen, ohne deren Wirkung zu belegen.
- OpenAI says its new cybersecurity model is better at not hacking other companies
- An AI agent attacked a real GitHub repo in a safety test. Telling it to stop barely worked
- India's AI security framework: Will OpenAI, Anthropic have to comply?
- Where the Weight Lies: A Balancing Act for the Governance of Open-Weight AI Models
- Kimi K3.1 Pro Weights Ship at 1.56 TB, With Cyber Gains Held Back
Moonshot veröffentlichte Kimi K3.1 Pro mit 1,56 TB Gewichten und laut eigener Messung reduzierten Cyberfähigkeiten; die Benchmarks zeigen Stärken bei agentischen Aufgaben, aber Schwächen bei anspruchsvollem Schlussfolgern, und die Lizenz ist kein Open Source.
- Delaware DOJ launches probe of OpenAI following Hugging Face hack
Delaware untersucht OpenAI nach dem Hugging-Face-Vorfall und fordert umfassende Unterlagen an; die Details bleiben laut Bericht unklar.
- AI Whistleblower Rules in 2026: What to Build Now
- Being a pain in the ass to (or in) AI companies is a real job now | Rob Wiblin
Die bereitgestellte Episodenseite, kein vollständiges Transkript, gibt Wiblins These wieder, dass interne Kritik und öffentlicher Druck KI-Unternehmen beeinflussen können und Verantwortlichmachen ein unterschätzter Berufsweg sei.
- SI Registry™: One Signed, Append-Only Record that Both Governs Certified AI Systems and Informs the Public, in which Each System's Runtime Limits Bind Only When Recorded, Role-Scoped Writers Sign in Separate Lanes, Certification Status Is Derived Live from the Records It Depends On, Typed Cross-References Link Compute, Model, Data, Skill, Machine, Site and Credential so that a Change Propagates to Every Dependent Record, Physical Events Are Anchored by Signed Device Evidence, Independent Witnesses Prevent Split Views, Linking Is Limited to Protect Privacy, and No Stop or Restore Ever Depends on the Registry
- Organisations need to prove that their AI agents can shut down
- AI Agent Kill Switches: What They Stop and Miss
Ein Kill Switch für KI-Agenten ist laut Bericht erst dann wirksam, wenn er alle Ausführungswege erfasst und seine Eindämmung unter realistischen Fehlerbedingungen geprüft wird.
- Test Whether an AI Agent Stays Stopped
- An AI kill switch isn't enough. Build a fallback plan
- How Often AI Agents Get Pulled Back After Go-Live
Der Bericht zufolge zogen 32 von 40 befragten Teams ihren gestarteten KI-Agenten zurück, doch die kleine, selbstberichtete Befragung belegt keine repräsentative Häufigkeit.
- Post by @theobearman on X
- A Macroprudential Layer for Frontier AI Governance – Simon Institute for Longterm Governance
Der Autor plädiert dafür, die Prüfung einzelner KI-Akteure um eine systemweite Aufsicht zu ergänzen, räumt aber ein, dass deren Zuständigkeiten und Instrumente noch offen sind.
- 国家发改委:AI全生命周期安全标准将建立
China kündigt umfassende KI-Sicherheitsregeln und begleitende Aufsicht sowie soziale Maßnahmen an, doch konkrete Vorschriften und ein Zeitplan stehen laut Bericht noch aus.
- Building on progress in China–USA talks on AI
- What is next for the US-China AI safety dialogue?
- Progress on provable inference for large language models
- After the Midterms: What Xi and Trump Should Discuss in Shenzhen
Chen und Qi plädieren für begrenzte Handelsvereinbarungen, KI-Leitplanken und stärkere Krisenkanäle, um trotz politischer Spannungen eine Eskalation zwischen den USA und China zu verhindern.
- From filmmaking to maths, AI tide is rising faster than official responses
- 10 Ways AI Labs Can Limit Antitrust Risks of Safety Pacts | Insights
- Where Competition Law Stops: Political Power, National Security and AI Safety
- Coalition of Nonprofits Files Landmark Lawsuit to Stop Development of Advanced AI Systems at Anthropic, Google, Meta, OpenAI, and SpaceXSI that Proliferate Bioweapons and Cyberattacks
- EU needs a system to respond to AI incidents, Finland and Estonia say
- AI Governance in Federal Proposals: What Vendors Need
- Beyond the Test Lab: Embedding Independent Oversight in AI Safety
- Wholesale banks supervision - Insights 3 (Autumn 2026)
- OCC issues supervisory Framework on use of AI
- Strengthening our safeguards with frontier automated red-teaming
Anthropic berichtet, dass Anvil Schutzlücken schneller als menschliche Teams aufdeckt und bei Verbesserungen hilft, betont aber Grenzen der Tests und verbleibende Risiken.
- GPT-6 Cyber System Card
Der Bericht beschreibt GPT-6 Cyber als leistungsfähigeres Modell für autorisierte Cybersicherheitsarbeit, flankiert von strengen Schutzmaßnahmen, und hebt zugleich verbleibende Schwächen sowie Grenzen der Tests hervor.
- Benchmarking safety benchmarks
- Building On Progress In China–USA Talks On AI - Analysis
- China Connects AI Security and Development with National Power and Global Adoption
- Post by @farairesearch on X
- We’re Failing to Evaluate How Biologists Could Misuse AI
Ob KI erfahrene Biologinnen und Biologen bei echter Laborarbeit stärker unterstützt, ist bislang ungeklärt; der Bericht fordert dafür sichere, aussagekräftige Studien.
- Reviving the Legacy of Reykjavík
Tómasdóttir und Pirc Musar rufen zu internationalem Dialog, Rechtsstaatlichkeit, menschlicher Kontrolle über Technologien und gemeinsamer Verantwortung für die Zukunft auf, räumen aber ein, dass Erklärungen allein keine Krisen lösen.
- From Nuclear Weapons to Artificial Intelligence, a New Test of Humanity’s Restraint
- AI Arms Control in a Contested World
- Post by @satyanadella on X
- Post by @StewInPhiwwy on X
- EU leaders debate benefits and dangers of AI at Dublin summit
- Market Surveillance Authorities under the AI Act
Laut Bericht überwachen nationale Behörden die Einhaltung des KI-Gesetzes und können Verstöße untersuchen und ahnden, während das KI-Büro für KI-Modelle mit allgemeinem Verwendungszweck zuständig ist.
- Prioritizing Real-Time Failure Detection in AI Agents
Der bereitgestellte Auszug fordert abgestufte Echtzeitkontrollen für KI-Agenten, abhängig von Folgen, Umkehrbarkeit und Handlungsspielraum, und nennt selbst keine empirischen Ergebnisse.
- OpenAI Codex
Der veraltete OpenAI-Beitrag beschreibt Codex als Sprach-zu-Code-Modell für Programmieraufgaben und berichtet über seinen damaligen Beta-Start, ohne unabhängige Leistungsnachweise zu liefern.
- Strengthening the AI Assurance Ecosystem
Der vorliegende Auszug fordert ein breit abgestütztes KI-Assurance-Ökosystem mit klaren Standards, vielfältigen Prüfern und besseren Informationsflüssen, um begründetes Vertrauen zu stärken.
- The Loss of Control Playbook: Degrees, Dynamics, and Preparedness
Der Bericht bietet eine grobe Taxonomie für KI-Kontrollverlust und empfiehlt, Risiken durch Prüfung von Einsatzkontext, Handlungsmöglichkeiten und Berechtigungen sowie durch mehrschichtige Schutzmaßnahmen zu begrenzen.
- Our approach to working with AI companies
METR beschreibt Transparenz- und Unabhängigkeitsmaßnahmen für seine Risikobewertungen, räumt aber ein, dass freiwilliger Unternehmenszugang, mögliche Schwärzungen und ungeprüfte Informationen die öffentliche Evidenz begrenzen.
- GPT-5.1 Instant and GPT-5.1 Thinking System Card Addendum
Der Bericht bescheinigt GPT-5.1 überwiegend ähnliche oder verbesserte Sicherheitswerte, verweist aber auf einzelne Rückgänge und erhebliche Einschränkungen der Aussagekraft der Tests.
- Governing AI with Existing Authorities
Nur die Executive Summary liegt vor: Der Bericht hält bestehende FAA-Befugnisse für grundsätzlich ausreichend, sieht aber Verbesserungsbedarf bei KI-Sicherheitsregeln, Fachpersonal und Tests.
- HAIP is transforming transparency from a compliance burden to a competitive advantage
Salesforce stellt den HAIP-Berichtsrahmen als möglichen Weg zu international abgestimmter, transparenter KI-Governance dar, ohne die erwarteten Wirkungen empirisch zu belegen.
- GPT-5.1-Codex-Max System Card
GPT‑5.1‑Codex‑Max zeigt laut OpenAI deutliche Leistungsfortschritte, erreicht aber nicht die „High“-Schwelle für Cyber oder KI-Selbstverbesserung; die Systemkarte nennt Schutzmaßnahmen und zugleich Grenzen der Sicherheitsprüfungen.
- Chris Painter's testimony to the U.S. Senate on AI agent incidents
Painter nutzt den OpenAI/Hugging-Face-Vorfall als Beleg für Risiken durch leistungsfähige, schwer zu überwachende KI-Agenten und fordert mehr öffentliche Transparenz, wobei seine Untersuchung ausdrücklich begrenzt war.
- 7e4a641
Der vorliegende Auszug fordert faire, vergütete und durchgängige Beteiligung an KI-Projekten, die Machtungleichheiten beachtet und mit weiteren Prinzipien verantwortungsvoller KI verbunden wird.
- China is open-sourcing its best AI models. Is that safe?
Laut Bericht sieht China derzeit Vorteile in offenen KI-Modellen, doch ihre Missbrauchsrisiken und die Wirksamkeit möglicher Schutzmaßnahmen sind nur unzureichend belegt und müssen neu bewertet werden.
- Addendum to GPT-5.2 System Card: GPT-5.2-Codex
OpenAI zufolge ist GPT-5.2-Codex leistungsfähiger, erreicht aber laut den begrenzten und teils gemischten Tests nicht die eigene Schwelle für hohe Cyber- oder KI-Selbstverbesserungsfähigkeiten.
- Post by @francescofaenzi on X
- Addendum to GPT-5 system card: GPT-5-Codex
Der Bericht beschreibt Sicherheitsprüfungen und Schutzmaßnahmen für GPT‑5‑Codex, nennt biologische und chemische Risiken sowie mögliche Gefahren bei Internetzugriff und erklärt, dass das Modell nicht mehr in Produktion ist.
- Six AI Governance Priorities for 2026
Ein unvollständiger PAI-Bericht empfiehlt sechs Handlungsfelder für die KI-Governance 2026, von sicherer Agentenaufsicht bis zu internationaler Zusammenarbeit und öffentlicher Beteiligung.
- ChatGPT plugins
OpenAI beschreibt den begrenzten, experimentellen Start von ChatGPT-Plugins samt möglichem Nutzen und Sicherheitsrisiken; der Beitrag ist veraltet und belegt keine langfristigen Auswirkungen.
- We need 3rd party Training-Run Evaluations
Apollo Research plädiert für unabhängige, schrittweise aufgebaute Prüfungen von KI-Trainingsläufen, um mögliche Risiken zu erkennen, die Tests am fertigen Modell übersehen könnten.
- Persuasion Undermining Control: Can AI Talk its Way Out of Human Control?
- Standardisation of the AI Act
Harmonisierte KI-Normen sollen die freiwillige Erfüllung des AI Act erleichtern und Rechtssicherheit bieten; ihre erwarteten internationalen Vorteile sind im Bericht nicht mit Wirkungsdaten belegt.
- LLMs and biorisk
Anthropic sieht Hinweise darauf, dass Sprachmodelle biologische Missbrauchsrisiken erhöhen könnten, betont aber erhebliche Unsicherheiten und setzt auf weitere Forschung und Schutzmaßnahmen.
- The Global South can shape AI in practical terms: Why the India AI Impact Summit Matters
Der Blogbeitrag plädiert dafür, den Indien-Gipfel zu nutzen, um inklusive und messbare KI-Anwendungen sowie praktische Sicherheits- und Rechenschaftsregeln voranzubringen, berichtet aber keine tatsächlichen Gipfelergebnisse.
- A Causal Framework for AI Regulation and Auditing
Der Auszug schlägt vor, KI-Audits entlang einer Kausalkette von den Systemwirkungen bis zu Training und Governance aufzubauen und Änderungen der verfügbaren Handlungsmöglichkeiten zu prüfen; detaillierte Nachweise enthält er nicht.
- A Starter Guide For Evals
Der Leitfaden empfiehlt, KI-Evaluationen praktisch und wissenschaftlich sorgfältig anzugehen, weist aber darauf hin, dass begrenzte Verhaltenstests allein keine sicheren oder abschließenden Aussagen über Modelle erlauben.
- AI openness: Balancing innovation, transparency and risk in open-weight models
Der Beitrag plädiert dafür, offene KI-Gewichte anhand ihrer kontextabhängigen zusätzlichen Vorteile und Risiken zu beurteilen und solche Abwägungen in ein umfassendes Risikomanagement einzubetten.
- To be truly participative, stakeholder involvement should follow an AI system’s entire lifecycle
Echte Beteiligung an KI erfordert laut Bericht dauerhaft finanzierte Mitbestimmung über den gesamten Lebenszyklus, doch die vorgeschlagenen gemeinschaftlichen Modelle sind noch frühe Experimente.
- Post by @wfithian on X
- Establishing the shared foundations for collective AI security
Der Bericht fordert gemeinsame internationale Forschung, Tests und Sicherheitspraktiken gegen Prompt-Injection, Agentenmissbrauch und Datenvergiftung, während er auf eine noch lückenhafte Evidenzbasis hinweist.
- ed0e5ac
Der Berichtsauszug beschreibt Hürden und Leitgedanken für transparente ML-Dokumentation, ohne die Wirksamkeit der vorgeschlagenen Ansätze nachzuweisen.
- Apply AI Strategy
Die EU beschreibt mit „Apply AI“ geplante Maßnahmen zur breiteren KI-Nutzung und technologischen Souveränität, nennt im Bericht jedoch keine belegten Ergebnisse ihrer Umsetzung.
- d1c8d57
Es liegt nur ein Auszug vor: ABOUT ML will die kontextgerechte Dokumentation von ML-Systemen fördern, doch abschließende, ausreichend belegte Best Practices stehen laut Text noch aus.
- AI Board
Laut Bericht koordiniert und berät das AI Board zur EU-KI-Politik und zum AI Act; die Seite nennt Sitzungen und Fachpapiere, enthält aber keine unabhängige Wirksamkeitsbewertung.
- Post by @DavidDuvenaud on X
- Measuring AI agent autonomy in practice
- Project Vend: Can Claude run a small shop?
- Can the finance sector oversee AI innovation while maintaining its rapid progress?
Der Bericht empfiehlt anpassungsfähige Aufsicht und praktische Auslegungshilfen, damit Finanzregeln mit KI Schritt halten, und beschreibt das FCA-Testprogramm als Beispiel ohne quantitative Wirkungsnachweise.
- Project Fetch: Can Claude train a robot dog?
- 2023 Alignment Research Updates
- AI for inclusive and resilient agri-food systems: Potential ways forward
KI könnte Agrar- und Ernährungssysteme stärken, doch laut OECD-Beitrag hängt ein inklusiver Nutzen von lokalen Lösungen, besseren Daten, sicherer Infrastruktur und weiterer internationaler Zusammenarbeit ab.
- A Primer on the EU AI Act: What It Means for AI Providers and Deployers
OpenAI erläutert Verbote, Risikoklassen, Pflichten und Fristen des EU AI Act und berichtet über eigene Compliance-Schritte, wobei der Überblick zeitgebunden ist und Umsetzungsdetails offenließ.
- Post by @BrianRoemmele on X
- When AGI Arrives, Will Journalists Be Ready?
- Research Note: Our scheming precursor evals had limited predictive power for our in-context scheming evals
Die untersuchten Vorläuferprüfungen sagten schematisches Denken nicht zuverlässig genug voraus, um als Frühwarnsignal für Hochrisikoentscheidungen zu dienen.
- Why AI Sandboxes matter for responsible innovation and public trust
KI-Sandboxes können laut OECD Innovation und Regulierung durch beaufsichtigte Tests verbinden, doch ihr Nutzen hängt von guter Koordination, verhältnismäßigen Schutzregeln und besserer Wirkungsmessung ab.
- AI Safety in a World of Vulnerable Machine Learning Systems
- A five-step roadmap to closing the AI evaluation gap
Der Bericht schlägt fünf Schritte vor, um KI-Prüfungen realistischer, kontextgerechter und vertrauenswürdiger zu machen, räumt aber ein, dass die Lücke noch nicht geschlossen ist und die erwarteten Vorteile nicht nachgewiesen sind.
- Governance and enforcement of the AI Act
Der Bericht skizziert die Behördenstruktur und Grundrechtsverfahren des EU-KI-Gesetzes sowie geplante KI-Bewertungen ab voraussichtlich 2027, ohne konkrete Vollzugsergebnisse zu berichten.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →