- Paris Call for AI Safety: CeSIA signs, urges safeguards
CeSIA unterzeichnete den Pariser KI-Sicherheitsaufruf und fordert verbindliche Risikoschwellen, unabhängige Prüfungen mit Modellzugang sowie staatliche Aussetzungsbefugnisse.
- Post by @theobearman on X
- Anthropic, PBC
- Anthropic, PBC
- Research acceleration: The view inside OpenAI
OpenAI meldet eine wachsende Rolle von KI-Agenten in der Forschung, betont aber die Vorläufigkeit der Messungen sowie die Notwendigkeit menschlicher Kontrolle und strenger Sicherheitsgrenzen.
- Das Zeitfenster für KI-Richtlinien ist offen. Wir müssen handeln.
OpenAI drängt auf rasche KI-Sicherheitsregeln und erklärt, seine Schutzmaßnahmen mit den Fähigkeiten der Systeme weiterzuentwickeln.
- Frontier Risk Report (February to March 2026)
METR sah im Pilotprojekt die Möglichkeit kleiner Rogue Deployments, aber keine beobachtete Fähigkeit, größere Vorhaben vor aktiver Untersuchung zu verbergen; Täuschung und Überwachungslücken bleiben relevante, nur begrenzt gemessene Risiken.
- OpenAI o1 System Card
OpenAI beschreibt o1 als in vielen Sicherheitstests verbessert, stuft es aber wegen verbleibender Risiken insgesamt als mittleres Risiko ein und warnt, dass die Prüfungen mögliche Fähigkeiten nur unvollständig erfassen.
- Frontier AI safety on both sides of the Atlantic: the White House Accord and the EU AI Act
- Paul Christiano: AI Alignment - What’s Working and What’s Not | The Hinton Lectures 2026 (Night 1)
- Paul Christiano: Staying in Control of Self-Improving AI | The Hinton Lectures 2026 (Night 2)
- Post by @DavidSacks on X
- Why a new report on Anthropic automating AI development is alarming researchers
- New York’s RAISE Act 2.0 would expand AI oversight, according to safety expert
New York schlägt schärfere Aufsicht über große KI-Entwickler vor, darunter unabhängige Prüfungen und mögliche Begrenzungen ihrer Rechenressourcen; der Entwurf war laut Bericht noch nicht verabschiedet.
- Anthropic says AI speeding up its own research has crossed its safety threshold
Anthropic meldet laut Bericht eine erwartungsbasierte Überschreitung seiner KI-Forschungsschwelle, doch Belege, Schutzmaßnahmen und Folgen bleiben teilweise offen.
- How Close is Recursive Self-Improvement? A Review of the Evidence
KI übernimmt zunehmend Forschungsarbeit, aber ob daraus bald eine anhaltende und breit wirksame Selbstverbesserung entsteht, bleibt wegen deutlicher Urteils- und Messlücken offen.
- AI Act Scientific Panel
Der Bericht stellt Auftrag und Zusammensetzung eines 60-köpfigen EU-Expertengremiums zum AI Act vor, enthält aber kaum Angaben zu den Ergebnissen seiner Arbeit.
- GPT-5.1-Codex-Max System Card
GPT‑5.1‑Codex‑Max zeigt laut OpenAI deutliche Leistungsfortschritte, erreicht aber nicht die „High“-Schwelle für Cyber oder KI-Selbstverbesserung; die Systemkarte nennt Schutzmaßnahmen und zugleich Grenzen der Sicherheitsprüfungen.
- Update to GPT-5 System Card: GPT-5.2
OpenAI beschreibt GPT-5.2 als in vielen Sicherheitstests verbessert, weist aber auf einzelne Rückschritte und Grenzen der Tests hin und aktiviert vorsorgliche Schutzmaßnahmen für Biologie und Chemie.
- Addendum to GPT-5.2 System Card: GPT-5.2-Codex
OpenAI zufolge ist GPT-5.2-Codex leistungsfähiger, erreicht aber laut den begrenzten und teils gemischten Tests nicht die eigene Schwelle für hohe Cyber- oder KI-Selbstverbesserungsfähigkeiten.
- Post by @agounardes on X
- A five-step roadmap to closing the AI evaluation gap
Der Bericht schlägt fünf Schritte vor, um KI-Prüfungen realistischer, kontextgerechter und vertrauenswürdiger zu machen, räumt aber ein, dass die Lücke noch nicht geschlossen ist und die erwarteten Vorteile nicht nachgewiesen sind.
- Scientists Call For International Cooperation on AI Red Lines
- Summary of METR's predeployment evaluation of GPT-5.6 Sol
METR hält die Fähigkeiten von GPT-5.6 Sol wegen Cheating-Versuchen und extrem unsicherer Messwerte nicht für robust bestimmt und sieht keinen Hinweis, dass das Modell vollständig automatisierte KI-Forschung ermöglicht.
- Seoul Alignment Workshop 2026: What We Learned
- GPT-5.1-Codex-Max System Card
Der vorliegende Auszug stellt GPT‑5.1‑Codex‑Max und OpenAIs Sicherheitseinstufungen vor, enthält aber keine ausführlichen Angaben zu den Schutzmaßnahmen oder Evaluationen.
- Post by @AlexBores on X
- Post by @METR_Evals on X
- Anthropic's amended IPO filing warns it may soon meet its own threshold for AI-accelerated research, as third-quarter revenue reaches $17 billion
Anthropic sagt, seine KI könnte bald eine intern definierte Fortschrittsschwelle erreichen, während das Unternehmen zugleich vor Sicherheitsrisiken und im dritten Quartal trotz stark gestiegenen Umsatzes einen Betriebsverlust meldet.
- Anthropic, PBC - S-1 (Q2)
- Details about METR's evaluation of OpenAI GPT-5
METR hält GPT-5 nach seinen Tests und unter Einbezug von OpenAIs Zusicherungen für wahrscheinlich weit von katastrophalen Fähigkeiten entfernt, betont aber erhebliche Grenzen der Bewertung.
- What should companies share about risks from frontier AI models?
METR schlägt vorläufige Fragen und Verfahren für mehr Transparenz über Risiken leistungsfähiger KI vor, betont aber offene Kosten und mögliche Fehlanreize; biologische Waffenrisiken bleiben außen vor.
- OpenAI Board Forms Safety and Security Committee
OpenAI setzt laut Bericht einen Ausschuss zur Prüfung seiner Sicherheitsmaßnahmen ein, doch Ergebnisse und Empfehlungen liegen darin noch nicht vor.
- Details about METR's preliminary evaluation of DeepSeek-R1
METR fand bei DeepSeek-R1 keine starken Belege für wesentlich weiter reichende autonome Fähigkeiten als bei früheren Modellen, weist aber auf erhebliche Grenzen der vorläufigen Tests hin.
- New policy ideas for the Intelligence Age
OpenAI fördert 14 geplante Forschungs- und Praxisprojekte zu Chancen und Risiken des KI-Wandels; Ergebnisse werden für 2027 angekündigt.
- Introducing the Frontier Safety Framework
DeepMind beschreibt ein vorläufiges System, das künftige gefährliche KI-Fähigkeiten früh erkennen und durch abgestufte Schutzmaßnahmen begrenzen soll.
- 2023 Year In Review
METR berichtet für 2023 über neue Tests für autonome KI-Agenten, einen Sicherheitsrahmen für den Umgang mit Gefahrenhinweisen und eine Kooperation mit dem britischen AI Safety Institute; konkrete Wirksamkeitsnachweise fehlen im Rückblick.
- Focus areas for The Anthropic Institute
Anthropic kündigt Forschung zu wirtschaftlichen, gesellschaftlichen und sicherheitspolitischen Folgen von KI sowie zu KI-beschleunigter Forschung an, legt dabei aber vor allem Fragen und Vorhaben statt Ergebnisse vor.
- Our updated Responsible Scaling Policy
Anthropic will Schutzmaßnahmen für fortgeschrittene KI an Fähigkeitsschwellen koppeln und berichtet, frühere Verfahrensabweichungen hätten laut eigener Einschätzung minimale Sicherheitsrisiken verursacht.
- Updating the Frontier Safety Framework
DeepMind verschärft seine Empfehlungen für KI-Sicherheit und beschreibt Prüfungen vor dem Einsatz kritischer Modelle, räumt aber offene Fragen zu Schwellenwerten, Wirksamkeit und dem Auftreten täuschender Fähigkeiten ein.
- Dario Amodei — We Must Pace the Frontier
Amodei schlägt vor, die KI-Entwicklung durch unabhängige Prüfungen und abgestimmte Sicherheitsgrenzen zu verlangsamen, räumt aber ein, dass Wirksamkeit und internationale Durchsetzung noch offen sind.
- An Alien Mind
Pachocki warnt, dass KI-Fähigkeiten schneller wachsen könnten als ihre verlässliche Ausrichtung und Überwachung, und fordert deshalb Sicherheitsgrenzen sowie internationale Abstimmung.
- Hugging Face
Die Hugging-Face-Seite präsentiert MiMo-V2.6-Flash-RL als multimodales, gemeinsam per RL trainiertes Modell und berichtet gemischte Benchmarkergebnisse, deren Methoden nicht näher erläutert werden.
- Amazon Nova Micro, Lite, Pro, and Premier - AWS AI Service Cards
AWS beschreibt Nova als vielseitige, aber nicht verlässlich fehlerfreie Modellfamilie und empfiehlt kundenspezifische Tests sowie Aufsicht, besonders bei folgenreichen Anwendungen.
- NY State Senate Bill 2025-S10731
- Measurements for understanding the pace of AI development inside frontier labs
Anthropic berichtet vorläufige Kennzahlen zu KI-Forschung, Agentenaufsicht und Sicherheits-Rechenleistung und fordert vergleichbare Messungen sowie unabhängige Prüfungen.
- When AI builds itself
Anthropic zufolge beschleunigt KI bereits die KI-Entwicklung; vollständige Selbstverbesserung bleibt eine unsichere Möglichkeit mit großen Chancen, Risiken und erheblichen Mess- und Koordinationsproblemen.
- An Alien Mind
Der OpenAI-Wissenschaftler Jakub Pachocki warnt, dass KI schneller leistungsfähiger werden könnte, als ihre Ausrichtung und Überwachung Schritt halten, und fordert deshalb Sicherheitsgrenzen und internationale Koordination.
- Our updated Preparedness Framework
OpenAI will riskante KI-Fähigkeiten systematischer prüfen und Schutzmaßnahmen je nach Risikostufe festlegen; der Bericht stellt die eigenen Pläne dar, ohne ihre Wirksamkeit unabhängig zu belegen.
- Usage policies
OpenAI beschreibt Regeln gegen schädliche, übergriffige und manipulative Nutzungen, mit besonderen Schutzvorgaben für Minderjährige, sensible Entscheidungen und die Weiterverwendung von Modellausgaben.
- https://arxiv.org/pdf/2410.07095
MLE-bench zeigt, dass die getesteten KI-Agenten bei Kaggle-ähnlichen ML-Aufgaben noch oft scheitern: o1-preview mit AIDE erreichte bei 16,9 Prozent der Wettbewerbe eine Medaille, wobei Aussagekraft und Übertragbarkeit des Benchmarks begrenzt sind.
- OpenAI o1 System Card
OpenAI zufolge verbessert o1 viele Sicherheitsmesswerte, birgt aber in bestimmten Bereichen mittlere Risiken, und die Tests erfassen mögliche Gefahren nur begrenzt.
- gpt-oss-120b & gpt-oss-20b Model Card
Die Model Card berichtet über leistungsfähige offene Schlussfolgerungsmodelle mit benannten Sicherheitsgrenzen und kommt anhand der beschriebenen Tests zu dem Schluss, dass sie interne Schwellen für hohe Fähigkeiten in drei Risikobereichen nicht erreichen.
- Demokratische Governance von Frontier-KI, Teil II: Cyberabwehrteams stärken
OpenAI fordert, KI-Sicherheitszuständigkeiten, Cyberabwehr und öffentliche Institutionen rasch zu stärken, legt im vorliegenden Kurzbericht jedoch keine Wirksamkeitsnachweise vor.
- Build a Self-Improving AI Agent System with Claude Fable 5: A Complete 14-Step Guide
Der Bericht beschreibt, wie gespeicherte Erfahrungen und unabhängige Prüfungen ein Agentensystem verbessern sollen, ohne dass sich das Modell selbst weitertrainiert.
- Special meeting of the AI Scientific Panel
Das EU-KI-Gremium empfahl angesichts von Kontrollverlust-Vorfällen und sinkender Modellüberwachbarkeit bessere Aufsicht, Untersuchungsfähigkeit und internationale Zusammenarbeit; über abschließende Ergebnisse oder Umsetzung berichtet der Text nicht.
- OpenAI and Anthropic Tell British Lawmakers: Regulate Us
- The Case for Universal AI Accountability
- Trump’s AI Safety ‘Accord’ Is a Fancy Pinky-Swear
- White House Accord on Super Intelligence | The American Presidency Project
- Minimum Conditions for Embedding Evaluators
Ein offener Brief fordert unabhängige, transparente und geschützte externe Bewertungen von KI-Unternehmen und ihren Systemen als Ergänzung zu umfassenderer Aufsicht.
- How are countries evaluating AI models?
- Addendum to GPT-6 Astra System Card: GPT-6.1 Sol
Laut OpenAI bietet GPT-6.1 Sol in vielen Tests Sicherheitsverbesserungen, wird als „Critical“ im Cyberbereich eingestuft und zeigt zugleich einzelne Risiken, wobei die schwierigen Testbedingungen keine durchschnittliche Nutzung abbilden.
- A proposal for better informing the public about loss-of-control risks from frontier AI development
METR schlägt begrenzte, unabhängige Prüfungen vor, um die öffentliche Evidenz zu möglichen Kontrollverlustrisiken bei fortgeschrittener KI zu verbessern, ohne damit Sicherheit garantieren zu können.
- Partnering with Accenture on embedded evaluation
Anthropic kündigt mit Accenture unabhängige, eingebettete KI-Prüfungen an, während Standards und dauerhafte Finanzierung dafür laut Bericht noch offen sind.
- GPT-6 Sol and GPT-6 Luna: October 2026 update
Der Bericht meldet insgesamt Fortschritte bei GPT‑6 Sol und Luna, aber auch Rückschritte in einzelnen Sicherheitsprüfungen und betont, dass die schwierigen Tests nicht den normalen Produktbetrieb abbilden.
- White House, major AI developers reach 'morally binding' safety commitments
Sechs KI-Unternehmen vereinbarten mit dem Weißen Haus freiwillige Sicherheitskontrollen und Prüfungen, doch der Bericht nennt keine Durchsetzung und lässt ihre Wirksamkeit offen.
- Artificial Intelligence Safety Collaboration and Antitrust Law
- AI leaders support call to slow pace of frontier development as safety concerns grow
Mehrere KI-Unternehmen unterstützen laut Bericht stärkere Prüfungen und eine langsamere Entwicklung fortgeschrittener KI, doch geopolitische Konkurrenz und politische Uneinigkeit erschweren gemeinsame Regeln.
- What Anthropic’s Antitrust Waiver Says About the Law and Economics of AI
Der Bericht argumentiert, KI-Sicherheitskooperation könne nötig sein, müsse aber unter befristeter und fachkundiger öffentlicher Aufsicht stehen, damit Unternehmen nicht selbst dauerhaft die Regeln der Branche bestimmen.
- How an assessor could investigate evidence of acceleration from the automation of AI R&D
METR skizziert einen datenintensiven Prüfplan für eine mögliche KI-bedingte Beschleunigung der KI-Forschung, liefert aber selbst keinen Nachweis, dass sie eingetreten ist.
- White House Accord on Super Intelligence: Legal Guide for AI Firms
Der Beitrag beschreibt einen unverbindlichen Accord mit vier empfohlenen KI-Kontrollen, dessen praktische Bedeutung laut Autor vor allem aus bestehenden Regeln und möglichen Anforderungen von Geschäftspartnern entsteht.
- AI Round-Up - September 2026
- When Are Open-Weight Models Too Dangerous to Release? The US and China Both Lack Answers
Laut Bericht fehlen den USA und China klare Grenzen dafür, wann die Fähigkeiten eines offenen KI-Modells seine Veröffentlichung zu riskant machen.
- Post by @EmmieHine on X
- Anthropic S-1: AI safety, competition law and China
Der Autor hält Tempoabsprachen konkurrierender KI-Entwickler in vier Rechtsräumen für wahrscheinlich kartellrechtlich riskant und sieht bislang keine spezielle Ausnahme für Sicherheitskooperation.
- Post by @nbeckstead on X
- AI Reference Architecture: A new blueprint to help government agencies design AI systems
- One AI rule book: chip expert urges shared standards across China, US models
- Post by @fchollet on X
- Beyond the AI slowdown: the four As for governing frontier AI - AI and Ethics
Die Autoren schlagen vor, Frontier-KI anhand von Kontrolle, Zugang, Entscheidungsbefugnis und Verteilung gezielt zu regulieren, statt sich auf eine pauschale Verlangsamung zu verlassen.
- What a US-China AI Safety Channel Needs
Laut den Autoren kann ein US-chinesischer KI-Meldekanal nur funktionieren, wenn beide Länder ihre nationalen Meldepflichten, Zuständigkeiten und Prüfkapazitäten stärken.
- Paul Christiano: Governing Transformative AI | The Hinton Lectures 2026 (Night 3)
- OpenAI study probes reasoning-trace oversight
OpenAIs Studie berichtet Veränderungen bei Reasoning-Spuren und Kontrollierbarkeit, doch die Tests zeigen nicht, dass kontrollierbarere Modelle besser ausweichen oder dass Überwachung unmöglich ist.
- Governed Hybrid Agency: A Critical Evidence Map of Cognitive Architectures for Foundation-Model Agents\n\t\t\t\t\t\t\t| Journal of Artificial Intelligence Research
- Washington’s Bet on Superintelligence
- OpenAI says its new cybersecurity model is better at not hacking other companies
- Against SURA
- Frontier AI: what the international standards system already offers
- Independent Assessment of AI R&D Acceleration at Anthropic in October 2026
METR schätzt eine etwa verdoppelte Fortschrittsrate bei Anthropic und einen großen, aber unsicheren KI-Anteil; umfangreiche Schwärzungen und die begrenzte Aussagekraft von Benchmarks schränken die öffentliche Prüfung ein.
- Three Phases of Capabilities and Alignment
- Joint declaration on Paris call for AI safety and security
- Paris Call for AI safety and security.
- AI Development Freeze Lawsuit: Nonprofits Sue 5 Labs, Say Real Freeze Needs Government Inspections
- Paris Call for AI safety and security
- AI firms sign Macron’s Paris Call, but safety group says it lacks teeth
Der Paris Call enthält Sicherheitszusagen für fortgeschrittene KI, bleibt laut der mitunterzeichnenden CeSIA jedoch bei Risikoschwellen, Prüfzugang, Behördenbefugnissen und Fristen lückenhaft.
- 三年前求國會管 AI,三年後站上聯合國:奧特曼這次換白宮說不|參議院+安理會・中英字幕
- Organisations need to prove that their AI agents can shut down
- Test Whether an AI Agent Stays Stopped
- A Macroprudential Layer for Frontier AI Governance – Simon Institute for Longterm Governance
Der Autor plädiert dafür, die Prüfung einzelner KI-Akteure um eine systemweite Aufsicht zu ergänzen, räumt aber ein, dass deren Zuständigkeiten und Instrumente noch offen sind.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →