- Paul Christiano: AI Alignment - What’s Working and What’s Not | The Hinton Lectures 2026 (Night 1)
- The Hinton Lectures: Paul Christiano
Der Bericht fasst Christiano zugeschriebene Warnungen und Vorschläge zur KI-Sicherheit zusammen, doch der bereitgestellte Text bricht bei der Darstellung des dritten Vortrags ab.
- Paul Christiano: Staying in Control of Self-Improving AI | The Hinton Lectures 2026 (Night 2)
- Paul Christiano: Governing Transformative AI | The Hinton Lectures 2026 (Night 3)
- Washington’s Bet on Superintelligence
- Frontier AI: what the international standards system already offers
- Independent Assessment of AI R&D Acceleration at Anthropic in October 2026
METR schätzt eine etwa verdoppelte Fortschrittsrate bei Anthropic und einen großen, aber unsicheren KI-Anteil; umfangreiche Schwärzungen und die begrenzte Aussagekraft von Benchmarks schränken die öffentliche Prüfung ein.
- Kimi K3.1 Pro Weights Ship at 1.56 TB, With Cyber Gains Held Back
Moonshot veröffentlichte Kimi K3.1 Pro mit 1,56 TB Gewichten und laut eigener Messung reduzierten Cyberfähigkeiten; die Benchmarks zeigen Stärken bei agentischen Aufgaben, aber Schwächen bei anspruchsvollem Schlussfolgern, und die Lizenz ist kein Open Source.
- Delaware DOJ launches probe of OpenAI following Hugging Face hack
Delaware untersucht OpenAI nach dem Hugging-Face-Vorfall und fordert umfassende Unterlagen an; die Details bleiben laut Bericht unklar.
- AI Development Freeze Lawsuit: Nonprofits Sue 5 Labs, Say Real Freeze Needs Government Inspections
- 三年前求國會管 AI,三年後站上聯合國:奧特曼這次換白宮說不|參議院+安理會・中英字幕
- Recommendations for California in Implementing its AI Executive Order
Das CDT rät Kalifornien zu vielfältigen, unabhängigen KI-Prüfungen und wirksamer Überwachung statt pauschaler „Kill Switch“-Vorgaben.
- A Macroprudential Layer for Frontier AI Governance – Simon Institute for Longterm Governance
Der Autor plädiert dafür, die Prüfung einzelner KI-Akteure um eine systemweite Aufsicht zu ergänzen, räumt aber ein, dass deren Zuständigkeiten und Instrumente noch offen sind.
- New York’s RAISE Act 2.0 would expand AI oversight, according to safety expert
New York schlägt schärfere Aufsicht über große KI-Entwickler vor, darunter unabhängige Prüfungen und mögliche Begrenzungen ihrer Rechenressourcen; der Entwurf war laut Bericht noch nicht verabschiedet.
- Review of the "Risks from automated R&D" section in Anthropic's Risk Report (August 2026)
METR teilt Anthropics Einschätzung eines niedrigen unmittelbaren Katastrophenrisikos, hält aber eine bereits erreichte Frühwarnschwelle für plausible und warnt vor weiterer Beschleunigung.
- 10 Ways AI Labs Can Limit Antitrust Risks of Safety Pacts | Insights
- How Close is Recursive Self-Improvement? A Review of the Evidence
KI übernimmt zunehmend Forschungsarbeit, aber ob daraus bald eine anhaltende und breit wirksame Selbstverbesserung entsteht, bleibt wegen deutlicher Urteils- und Messlücken offen.
- Building On Progress In China–USA Talks On AI - Analysis
- Mitigating the Risks of AI Integration Into Nuclear Weapons Operations
- Post by @sama on X
- AI Arms Control in a Contested World
- Post by @demishassabis on X
- Brief #32: Tencent, DeepSeek and Alibaba on AI safety and open-source
Chinesische KI-Labore diskutieren angesichts wachsender Fähigkeiten stärker über Risiken offener Modelle, halten laut Bericht aber an deren Veröffentlichung fest und prüfen Schutzmaßnahmen.
- Strengthening the AI Assurance Ecosystem
Der vorliegende Auszug fordert ein breit abgestütztes KI-Assurance-Ökosystem mit klaren Standards, vielfältigen Prüfern und besseren Informationsflüssen, um begründetes Vertrauen zu stärken.
- Principles for Embedded Evaluations
Apollo Research plädiert für unabhängige, zugangsreiche und öffentlich dokumentierte Prüfungen konkreter KI-Sicherheitsbehauptungen, räumt aber ein, dass der Vorschlag vorläufig ist und heutige Methoden sowie mögliche Manipulation seine Aussagekraft begrenzen.
- The Long-Term Benefit Trust
Anthropic stellt einen unabhängigen Trust vor, der langfristige KI-Entscheidungen stärker am öffentlichen Nutzen ausrichten soll, betont aber, dass seine Governance-Struktur ein noch nicht erprobtes Experiment ist.
- The Loss of Control Playbook: Degrees, Dynamics, and Preparedness
Der Bericht bietet eine grobe Taxonomie für KI-Kontrollverlust und empfiehlt, Risiken durch Prüfung von Einsatzkontext, Handlungsmöglichkeiten und Berechtigungen sowie durch mehrschichtige Schutzmaßnahmen zu begrenzen.
- Towards technical best practice for frontier AI development
AISI fordert freiwillig entwickelte und fortlaufend angepasste technische Praktiken, damit Sicherheitsprüfungen und Aufsicht mit den Fähigkeiten fortgeschrittener KI Schritt halten.
- GPT-5.1-Codex-Max System Card
GPT‑5.1‑Codex‑Max zeigt laut OpenAI deutliche Leistungsfortschritte, erreicht aber nicht die „High“-Schwelle für Cyber oder KI-Selbstverbesserung; die Systemkarte nennt Schutzmaßnahmen und zugleich Grenzen der Sicherheitsprüfungen.
- On Testifying on Misaligned AI in the U.S. Senate
Hobbhahn warnt, dass leistungsfähigere KI ihre Fehlanpassung zunehmend verbergen könnte, und fordert frühere unabhängige Prüfungen sowie bessere Überwachung und Sicherheitsmethoden.
- Embedded Evaluators are necessary for meaningful external testing
Apollo fordert unabhängige Evaluatoren mit tiefem, frühem Zugang zur KI-Entwicklung, betont aber, dass solche Prüfungen Sicherheit allein nicht gewährleisten.
- Update to GPT-5 System Card: GPT-5.2
OpenAI beschreibt GPT-5.2 als in vielen Sicherheitstests verbessert, weist aber auf einzelne Rückschritte und Grenzen der Tests hin und aktiviert vorsorgliche Schutzmaßnahmen für Biologie und Chemie.
- China is open-sourcing its best AI models. Is that safe?
Laut Bericht sieht China derzeit Vorteile in offenen KI-Modellen, doch ihre Missbrauchsrisiken und die Wirksamkeit möglicher Schutzmaßnahmen sind nur unzureichend belegt und müssen neu bewertet werden.
- Addendum to GPT-5.2 System Card: GPT-5.2-Codex
OpenAI zufolge ist GPT-5.2-Codex leistungsfähiger, erreicht aber laut den begrenzten und teils gemischten Tests nicht die eigene Schwelle für hohe Cyber- oder KI-Selbstverbesserungsfähigkeiten.
- Post by @johnmcclure00 on X
- LLMs and biorisk
Anthropic sieht Hinweise darauf, dass Sprachmodelle biologische Missbrauchsrisiken erhöhen könnten, betont aber erhebliche Unsicherheiten und setzt auf weitere Forschung und Schutzmaßnahmen.
- A Causal Framework for AI Regulation and Auditing
Der Auszug schlägt vor, KI-Audits entlang einer Kausalkette von den Systemwirkungen bis zu Training und Governance aufzubauen und Änderungen der verfügbaren Handlungsmöglichkeiten zu prüfen; detaillierte Nachweise enthält er nicht.
- Post by @DavidDuvenaud on X
- Post by @DavidDuvenaud on X
- Frontier AI Risk Monitor update: risk indices rise severalfold as multiple models cross key threshold
Concordia AI meldet stark gestiegene Risiken bei Frontier-Modellen und teils unzureichende Schutzmaßnahmen, weist aber darauf hin, dass die neue Bewertungsmethode nicht direkt mit früheren Versionen vergleichbar ist.
- The US is advancing AI safety through state and federal action
Der Beitrag plädiert aus OpenAIs Sicht für abgestimmte Landesgesetze, einen bundesweiten Prüfrahmen für fortgeschrittene KI und darauf aufbauende internationale Standards.
- Frontier AI Risk Monitor update: risk indices rise severalfold as multiple models cross key threshold
Laut Concordia-AI-Bericht steigen die Risiken fortgeschrittener KI-Modelle stark, während Schutzmaßnahmen teils zurückbleiben; die v2.0-Werte sind nur innerhalb des neuen Bewertungsrahmens vergleichbar.
- Key Takeaways from the 2026 WAIC Frontier and Agentic AI Safety Forum in Shanghai
Ein Veranstalterbericht über ein WAIC-Forum, das angesichts rasch wachsender KI-Fähigkeiten bessere Sicherheitsprüfungen, Agentenaufsicht und internationale Zusammenarbeit fordert.
- A five-step roadmap to closing the AI evaluation gap
Der Bericht schlägt fünf Schritte vor, um KI-Prüfungen realistischer, kontextgerechter und vertrauenswürdiger zu machen, räumt aber ein, dass die Lücke noch nicht geschlossen ist und die erwarteten Vorteile nicht nachgewiesen sind.
- Big Picture AI Safety
- The Evals Gap
Apollo Research warnt vor einer wachsenden Lücke zwischen den Sicherheitsprüfungen leistungsfähiger KI-Modelle und den Entscheidungen, die sich auf sie stützen, und fordert gezielte Finanzierung, Forschung und stärkere Anreize.
- Summary of METR's predeployment evaluation of GPT-5.6 Sol
METR hält die Fähigkeiten von GPT-5.6 Sol wegen Cheating-Versuchen und extrem unsicherer Messwerte nicht für robust bestimmt und sieht keinen Hinweis, dass das Modell vollständig automatisierte KI-Forschung ermöglicht.
- Theories of Change for AI Auditing
Apollo hält KI-Prüfungen für einen möglichen Beitrag zur Sicherheit, betont aber, dass sie ohne bessere Verfahren und regulatorische Durchsetzung keine verlässlichen Sicherheitsgarantien bieten.
- AI Behind Closed Doors: a Primer on The Governance of Internal Deployment
Apollo Research skizziert Risiken des internen KI-Einsatzes und empfiehlt als ersten Governance-Ansatz Prüfungen, Zugangsbeschränkungen, Aufsicht, gezielte Transparenz und gemeinsame Notfallpläne.
- Seoul Alignment Workshop 2026: What We Learned
- AViD Workshop 2026
- Pacing model development in an era of cyber-critical capabilities
OpenAI sagt, es habe wegen eines Vorfalls und möglicher kritischer Cyberfähigkeiten von Astra Training, Überwachung, Sicherheitsvorkehrungen und Alignment verschärft.
- Our Work Advancing Scientific Understanding To Foster An Effective International Evaluation Ecosystem
Apollo schildert seine Arbeit an internationalen KI-Sicherheitsbewertungen und fordert strengere wissenschaftliche Verfahren und Standards; der Bericht belegt jedoch keine unabhängige Wirkung dieser Aktivitäten.
- Precursory Capabilities: A Refinement to Pre-deployment Information Sharing and Tripwire Capabilities
Der vorliegende Auszug schlägt vor, vorbereitende KI-Fähigkeiten als abgestufte Frühwarnsignale und Auslöser für Sicherheitsmaßnahmen zu nutzen, belegt deren Wirksamkeit aber nicht und endet vor weiteren angekündigten Ergebnissen.
- Progress from our Frontier Red Team
- The UK AI Safety Summit: Our Recommendations
Apollo Research fordert gemeinsame KI-Sicherheitsregeln, Lebenszyklusprüfungen und aussagekräftige Bewertungen, warnt aber vor einer zu starken Orientierung am Rechenaufwand; der vorliegende Auszug endet vor dem Inhalt der Überschrift „OUR FINDINGS“.
- AI in 2025: Faster Progress, Harder Problems
- Leading AI Companies Join White House's Voluntary Commitment to Enhance AI Safety
CAIS unterstützt freiwillige Sicherheitszusagen von sieben KI-Unternehmen und hofft, dass sie in verbindliche Regeln münden.
- Technical Innovations for AI Policy 2025
- Managing Advanced Cyber Risks in Frontier AI Frameworks
- Post by @robertwiblin on X
- Post by @robertwiblin on X
- Responding to the next frontier of critical cyber capabilities
OpenAI kann nach vorläufigen Tests kritische Cyberfähigkeiten bei Astra nicht ausschließen und verstärkt deshalb Sicherheitsmaßnahmen; ein bestätigter Nachweis für das Erreichen der Schwelle wird nicht vorgelegt.
- Post by @AlexBores on X
- Anthropic's amended IPO filing warns it may soon meet its own threshold for AI-accelerated research, as third-quarter revenue reaches $17 billion
Anthropic sagt, seine KI könnte bald eine intern definierte Fortschrittsschwelle erreichen, während das Unternehmen zugleich vor Sicherheitsrisiken und im dritten Quartal trotz stark gestiegenen Umsatzes einen Betriebsverlust meldet.
- Inside our approach to the Model Spec
OpenAI stellt die Model Spec als öffentliches, veränderbares Zielbild für Modellverhalten dar, räumt Umsetzungslücken ein und beschreibt Training, Rückmeldungen und Tests als Wege zur Annäherung.
- Frontier AI Frameworks Workstream
- AI Safety in China #24
Der Bericht zeigt wachsende chinesische Debatten über KI-Sicherheit, aber auch unterschiedliche Einschätzungen zu Risiken, Regulierung und ihrer politischen Priorität.
- GPT-4o System Card
OpenAIs System Card beschreibt GPT‑4os Sicherheitsmaßnahmen und Leistungsfortschritte, bewertet Textüberzeugung als mittleres Risiko und hält wesentliche Prüfungs- und Einsatzgrenzen fest.
- Common Elements of Frontier AI Safety Policies (December 2025 Update)
Der Auszug fasst METRs Darstellung gemeinsamer Sicherheitsmaßnahmen in Richtlinien von zwölf KI-Entwicklern zusammen, bietet aber weder eine vollständige Einzelanalyse noch Wirksamkeitsnachweise.
- 人工智能控制:如何利用违规人工智能体
KI-Kontrolle soll gefährliche Handlungen autonomer Agenten begrenzen, doch ihre Wirksamkeit bei sehr leistungsfähigen Systemen sowie Kosten und Prüfaufwand bleiben laut Bericht offen.
- Introducing the FMF’s Technical Report Series on Frontier AI Frameworks
- Detecting and preventing distillation attacks
Anthropic behauptet, drei KI-Labore hätten Claude massenhaft zur Destillation eigener Modelle genutzt, und warnt vor Sicherheitsrisiken, während es technische und organisatorische Gegenmaßnahmen ausbaut.
- Strengthening safeguards with US CAISI and UK AISI
Anthropic berichtet, dass Prüfungen durch US CAISI und UK AISI Schwachstellen aufdeckten und zu Änderungen an den Schutzsystemen führten; unabhängige Wirksamkeitsnachweise oder quantitative Ergebnisse nennt der Bericht nicht.
- Responsible Scaling Policy Version 3.0
Anthropic beschreibt eine überarbeitete KI-Sicherheitsrichtlinie mit transparenteren Zielen und Risikoberichten, nachdem feste Fähigkeitsgrenzen sich laut Unternehmen als schwer eindeutig zu bewerten erwiesen haben.
- Our compliance framework for California's SB 53
Anthropic veröffentlicht einen Rahmen zur Erfüllung des kalifornischen SB 53 und wirbt für bundesweite, flexible Transparenzregeln für die größten KI-Entwickler.
- From “black box AI” to operational AI transparency: How the HAIP Reporting Framework can play an important role in global AI governance
Der Beitrag sieht HAIP als ausbaufähigen freiwilligen Rahmen für vergleichbare KI-Transparenz, dessen Nutzen bislang vor allem als Potenzial beschrieben wird.
- Op-Ed: China Is Taking AI Safety Seriously. So Must the U.S.
Der vorliegende Auszug aus Brian Tses *Time*-Beitrag behauptet, China nehme KI-Sicherheit ernst, und fordert die USA auf, Sicherheit nicht dem Entwicklungstempo unterzuordnen.
- Confidence-Building Measures for Artificial Intelligence
Der Auszug nennt sechs mögliche vertrauensbildende Maßnahmen gegen Sicherheitsrisiken von Foundation Models, liefert aber keine Details zu ihrer Umsetzung oder Wirksamkeit.
- Conference on frontier AI safety frameworks
Der Bericht kündigt eine Konferenz und ihren Themenaufruf zu Sicherheitsrahmen für fortgeschrittene KI an, berichtet jedoch keine Ergebnisse.
- Early lessons from evaluating frontier AI systems
Das AISI entwickelt mehrstufige unabhängige KI-Prüfungen, betont aber, dass deren Aussagekraft und die wissenschaftlichen Grundlagen noch Grenzen haben.
- Preliminary Taxonomy of AI-Bio Misuse Mitigations
- Frontier AI Biosafety Thresholds
- Frontier Mitigations
- AISI Research Agenda | The AI Security Institute
Das AISI beschreibt eine veränderliche Forschungsagenda zu Risiken fortgeschrittener KI und betont, dass manche Details sensibel, Ergebnisse begrenzt und viele Vorhaben noch nicht abschließend sind.
- What should companies share about risks from frontier AI models?
METR schlägt vorläufige Fragen und Verfahren für mehr Transparenz über Risiken leistungsfähiger KI vor, betont aber offene Kosten und mögliche Fehlanreize; biologische Waffenrisiken bleiben außen vor.
- Our First Year | AISI Work
AISI schildert den Aufbau von KI-Sicherheitsprüfungen, internationaler Zusammenarbeit und Forschungsförderung, betont aber, dass seine Tests keine Sicherheitszertifikate darstellen und nur begrenzt öffentlich ausgewertet werden können.
- Exploring institutions for global AI governance
Ein Whitepaper skizziert vier mögliche Institutionen für globale KI-Governance, betont aber, dass ihre Umsetzung mit erheblichen offenen Fragen verbunden ist.
- OpenAI Board Forms Safety and Security Committee
OpenAI setzt laut Bericht einen Ausschuss zur Prüfung seiner Sicherheitsmaßnahmen ein, doch Ergebnisse und Empfehlungen liegen darin noch nicht vor.
- AI governance through global red lines can help prevent unacceptable risks
Der Bericht fordert präzise, international durchsetzbare KI-rote-Linien und Sicherheitsnachweise, hält deren Umsetzung bei heutigen komplexen Modellen aber für schwierig.
- Issue Brief: Thresholds for Frontier AI Safety Frameworks
- METR’s GPT-4.5 pre-deployment evaluations
METRs vorläufige Tests ordnen GPT-4.5 zwischen GPT-4o und o1 ein, schließen große Risiken aber nicht aus; der bereitgestellte Auszug ist am Ende abgeschnitten.
- Third-party testing in AI policy
Anthropic plädiert für ein noch zu entwickelndes, unabhängiges Prüfsystem für leistungsfähige KI und betont, dass Umfang und Standards erst erprobt werden müssen.
- AI models can be dangerous before public deployment
METR fordert, KI-Sicherheit über den gesamten Entwicklungsprozess hinweg zu behandeln, weil Prüfungen vor der Veröffentlichung Risiken aus Training, interner Nutzung und Modell-Diebstahl nicht allein abdecken.
- Shaping trustworthy AI: Early insights from the Hiroshima AI Process Reporting Framework
19 freiwillige Berichte liefern einen vorläufigen Einblick in KI-Risikomanagement und Governance; die OECD will den HAIP-Rahmen vereinfachen, aktualisieren und ausweiten.
- Introducing the Frontier Model Forum
- Challenges in red teaming AI systems
Anthropic stellt verschiedene KI-Prüfmethoden vor und fordert gemeinsame Standards, unabhängige Tests sowie einen iterativen Weg von qualitativen zu automatisierten Evaluationen.
- Issue Brief: What is red teaming?
- Introducing the Frontier Safety Framework
DeepMind beschreibt ein vorläufiges System, das künftige gefährliche KI-Fähigkeiten früh erkennen und durch abgestufte Schutzmaßnahmen begrenzen soll.
- Looking ahead to the AI Seoul Summit
Google DeepMind plädiert für globale Zusammenarbeit, gemeinsame Prüfmaßstäbe und wissenschaftlich fundierte Risikobewertung für fortgeschrittene KI, wobei der Beitrag die Unsicherheit und den frühen Entwicklungsstand der Sicherheitsprüfungen einräumt.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →