- Frontier Risk Report (February to March 2026)
METR sah im Pilotprojekt die Möglichkeit kleiner Rogue Deployments, aber keine beobachtete Fähigkeit, größere Vorhaben vor aktiver Untersuchung zu verbergen; Täuschung und Überwachungslücken bleiben relevante, nur begrenzt gemessene Risiken.
- Anthropic, PBC - S-1 (Q2)
- Anthropic, PBC
- Anthropic, PBC
- L_202401689DE.000101.fmx.xml
Die Vorlage enthält Notizen, keinen vollständigen Verordnungstext, und beschreibt den risikobasierten EU-KI-Rechtsrahmen mit Verboten, Hochrisiko-Anforderungen, Transparenzpflichten und schrittweisem Anwendungsbeginn ab 2025.
- Let The People Set The Pace Of Frontier AI
- Securing our frontier model training environment
OpenAI beschreibt zusätzliche, mehrschichtige Schutzmaßnahmen und umfangreiche Agententests für seine Trainingsumgebungen, betont aber, dass die Abwehr gegen künftige Modelle fortlaufend geprüft werden müsse.
- White House Accord on Super Intelligence | The American Presidency Project
- How are countries evaluating AI models?
- GPT-6 Sol and GPT-6 Luna: October 2026 update
Der Bericht meldet insgesamt Fortschritte bei GPT‑6 Sol und Luna, aber auch Rückschritte in einzelnen Sicherheitsprüfungen und betont, dass die schwierigen Tests nicht den normalen Produktbetrieb abbilden.
- Gemini 4 Carbon: our next frontier model
Google kündigt Gemini 4 Carbon mit starken, vom Unternehmen berichteten Programmier- und Cybersecurity-Ergebnissen an; zunächst soll es ausgewählte Fachleute erreichen.
- https://www.nist.gov/system/files/documents/2026/10/16/Key_Practices_for_Incident_Readiness_and_Response_in_Super_Intelligence%20_Training_and_Evaluation.pdf
- Mistral Large 4 (Le Chonk) is now open weight
Mistral veröffentlicht Large 4 als anpassbares Open-Weight-Modell und meldet Benchmarkfortschritte, räumt aber ein mögliches Cyber-Missbrauchspotenzial ein und verlangt für kommerzielle Model-as-a-Service-Angebote eine separate Lizenz.
- Introducing Claude Fable 5.2 and Claude Mythos 5.2
Anthropic berichtet von Leistungsfortschritten bei Fable 5.2 und Mythos 5.2, betont deren Schutzmaßnahmen und weist zugleich auf Grenzen der eigenen Tests und Benchmarkvergleiche hin.
- OpenAI’s data suggests that frontier models are hiding their thoughts because developers optimize for capability and compute
OpenAI zufolge wird die Überwachung von KI-Gedankengängen durch konkrete Trainings- und Architekturentscheidungen erschwert; praktikable Kontrolle muss daher über das bloße Mitlesen sichtbarer Zwischenschritte hinausgehen.
- Paul Christiano: Governing Transformative AI | The Hinton Lectures 2026 (Night 3)
- Why a new report on Anthropic automating AI development is alarming researchers
- Introducing Inkling 2 Small
Der Hersteller stellt Inkling 2 Small vor und berichtet über breite Fähigkeiten und Sicherheitsverbesserungen, während Benchmarks ein gemischtes Bild und der Text verbleibende Grenzen zeigt.
- Joint declaration on Paris call for AI safety and security
- Paris Call for AI safety and security.
- Information for Frontier Developers
- New York’s RAISE Act 2.0 would expand AI oversight, according to safety expert
New York schlägt schärfere Aufsicht über große KI-Entwickler vor, darunter unabhängige Prüfungen und mögliche Begrenzungen ihrer Rechenressourcen; der Entwurf war laut Bericht noch nicht verabschiedet.
- Paris Declaration on AI safety and security
- Anthropic says AI speeding up its own research has crossed its safety threshold
Anthropic meldet laut Bericht eine erwartungsbasierte Überschreitung seiner KI-Forschungsschwelle, doch Belege, Schutzmaßnahmen und Folgen bleiben teilweise offen.
- How Close is Recursive Self-Improvement? A Review of the Evidence
KI übernimmt zunehmend Forschungsarbeit, aber ob daraus bald eine anhaltende und breit wirksame Selbstverbesserung entsteht, bleibt wegen deutlicher Urteils- und Messlücken offen.
- Towards technical best practice for frontier AI development
AISI fordert freiwillig entwickelte und fortlaufend angepasste technische Praktiken, damit Sicherheitsprüfungen und Aufsicht mit den Fähigkeiten fortgeschrittener KI Schritt halten.
- Update to GPT-5 System Card: GPT-5.2
OpenAI beschreibt GPT-5.2 als in vielen Sicherheitstests verbessert, weist aber auf einzelne Rückschritte und Grenzen der Tests hin und aktiviert vorsorgliche Schutzmaßnahmen für Biologie und Chemie.
- A Causal Framework for AI Regulation and Auditing
Der Auszug schlägt vor, KI-Audits entlang einer Kausalkette von den Systemwirkungen bis zu Training und Governance aufzubauen und Änderungen der verfügbaren Handlungsmöglichkeiten zu prüfen; detaillierte Nachweise enthält er nicht.
- An Opinionated Evals Reading List
Eine meinungsgeprägte, nicht vollständige Apollo-Leseliste führt durch LLM-Evaluationen und verwandte Themen und benennt dabei methodische Grenzen und offene Fragen.
- Post by @agounardes on X
- Our Norms on Security, Science Communication and Conflicts of Interest
Apollo Research beschreibt eigene Standards für Interessenkonflikte, sichere Forschung und wissenschaftliche Kommunikation, belegt im Bericht aber nicht unabhängig deren Umsetzung.
- Theories of Change for AI Auditing
Apollo hält KI-Prüfungen für einen möglichen Beitrag zur Sicherheit, betont aber, dass sie ohne bessere Verfahren und regulatorische Durchsetzung keine verlässlichen Sicherheitsgarantien bieten.
- Seoul Alignment Workshop 2026: What We Learned
- Pacing model development in an era of cyber-critical capabilities
OpenAI sagt, es habe wegen eines Vorfalls und möglicher kritischer Cyberfähigkeiten von Astra Training, Überwachung, Sicherheitsvorkehrungen und Alignment verschärft.
- Our Current Policy Positions
Apollo Research plädiert für lebenszyklusweite KI-Evaluationen, Vorfallsdaten, unabhängige Prüfer und internationale Koordination, präsentiert dies aber als eigene Positionen ohne unabhängige Wirksamkeitsbelege.
- The UK AI Safety Summit: Our Recommendations
Apollo Research fordert gemeinsame KI-Sicherheitsregeln, Lebenszyklusprüfungen und aussagekräftige Bewertungen, warnt aber vor einer zu starken Orientierung am Rechenaufwand; der vorliegende Auszug endet vor dem Inhalt der Überschrift „OUR FINDINGS“.
- Responding to the next frontier of critical cyber capabilities
OpenAI kann nach vorläufigen Tests kritische Cyberfähigkeiten bei Astra nicht ausschließen und verstärkt deshalb Sicherheitsmaßnahmen; ein bestätigter Nachweis für das Erreichen der Schwelle wird nicht vorgelegt.
- Post by @theobearman on X
- Anthropic's amended IPO filing warns it may soon meet its own threshold for AI-accelerated research, as third-quarter revenue reaches $17 billion
Anthropic sagt, seine KI könnte bald eine intern definierte Fortschrittsschwelle erreichen, während das Unternehmen zugleich vor Sicherheitsrisiken und im dritten Quartal trotz stark gestiegenen Umsatzes einen Betriebsverlust meldet.
- AlphaEvolve: A Gemini-powered coding agent for designing advanced algorithms
Laut DeepMind erzielt der Gemini-gestützte Agent AlphaEvolve messbare Verbesserungen in Googles Computing-Systemen und bei ausgewählten mathematischen Problemen, sofern Lösungen automatisch überprüfbar sind.
- Measuring AI Agents’ Progress on Multi-Step Cyber Attack Scenarios
Laut dem bereitgestellten Abstract stiegen die Leistungen von KI-Modellen in zwei Cyberangriffstests mit Rechenbudget und Modellgeneration, während sie beim industriellen Steuerungsszenario begrenzt blieben.
- Estimating worst case frontier risks of open weight LLMs
Der vorliegende Abstract-Auszug behauptet, gezieltes Fine-Tuning habe bei gpt-oss keine wesentliche Verschiebung der offenen Modellfrontier gezeigt und habe zur Veröffentlichungsentscheidung beigetragen.
- Frontier Capability Assessments
- Concordia AI: 2025 Mid-Year Impact Report
Concordia AI stellt zahlreiche eigene Beiträge zur internationalen KI-Sicherheit im ersten Halbjahr 2025 vor, ohne deren Wirkung unabhängig zu messen.
- Early lessons from evaluating frontier AI systems
Das AISI entwickelt mehrstufige unabhängige KI-Prüfungen, betont aber, dass deren Aussagekraft und die wissenschaftlichen Grundlagen noch Grenzen haben.
- Details about METR's evaluation of OpenAI GPT-5
METR hält GPT-5 nach seinen Tests und unter Einbezug von OpenAIs Zusicherungen für wahrscheinlich weit von katastrophalen Fähigkeiten entfernt, betont aber erhebliche Grenzen der Bewertung.
- Risk Taxonomy and Thresholds for Frontier AI Frameworks
- AISI Research Agenda | The AI Security Institute
Das AISI beschreibt eine veränderliche Forschungsagenda zu Risiken fortgeschrittener KI und betont, dass manche Details sensibel, Ergebnisse begrenzt und viele Vorhaben noch nicht abschließend sind.
- What should companies share about risks from frontier AI models?
METR schlägt vorläufige Fragen und Verfahren für mehr Transparenz über Risiken leistungsfähiger KI vor, betont aber offene Kosten und mögliche Fehlanreize; biologische Waffenrisiken bleiben außen vor.
- Guidelines on obligations for General-Purpose AI providers
Die Kommission legt unverbindlich aus, welche Dokumentations-, Urheberrechts-, Transparenz- und Risikopflichten Anbieter allgemeiner KI-Modelle nach dem EU-KI-Gesetz erfüllen sollen.
- Issue Brief: Thresholds for Frontier AI Safety Frameworks
- Details about METR's preliminary evaluation of DeepSeek-R1
METR fand bei DeepSeek-R1 keine starken Belege für wesentlich weiter reichende autonome Fähigkeiten als bei früheren Modellen, weist aber auf erhebliche Grenzen der vorläufigen Tests hin.
- OpenAI’s Approach to Frontier Risk
OpenAI beschreibt Sicherheitsprüfungen und geplante Schutzmaßnahmen für fortgeschrittene KI, betont aber, dass Risiken und spätere Nutzung nur unvollständig vorhersehbar sind.
- Issue Brief: Measuring Training Compute
- Comment on NTIA AI Accountability Policy
OpenAI beschreibt seine KI-Sicherheitspraktiken und befürwortet abgestimmte Regeln sowie mögliche Registrierung und Zulassung besonders leistungsfähiger Modelle, während wichtige Umsetzungsfragen offenbleiben.
- Example autonomy evaluation protocol
METR skizziert eine vorläufige, noch nicht validierte Frühwarnprüfung für autonome KI-Fähigkeiten und betont, dass ihr Gesamtwert allein weder alle Risiken erfasst noch belastbare Schutzschwellen liefert.
- Measuring the impact of post-training enhancements
Auf METRs Aufgabenmix brachte Post-Training einen großen Leistungszuwachs, zusätzliche Agentenoptimierung einen kleineren, unsicheren; wegen begrenzter und nicht auf Gefahren ausgerichteter Tests bleiben die Ergebnisse vorläufig.
- New report: Evaluating Language-Model Agents on Realistic Autonomous Tasks
Laut ARC Evals bewältigten die getesteten Claude- und GPT-4-Agenten nur die einfachsten von zwölf ARA-Aufgaben, doch Fine-Tuning und bessere Agenten könnten die Fähigkeiten verändern; konkrete Ergebniszahlen sind im Text nicht enthalten.
- Taking a responsible path to AGI
DeepMind beschreibt Sicherheitsmaßnahmen für mögliche AGI, vor allem gegen Missbrauch und Fehlanpassung, lässt aber erkennen, dass wesentliche Risiken und offene Fragen bestehen.
- Reflections on our Responsible Scaling Policy
Anthropic sieht seine Responsible Scaling Policy als hilfreichen, aber noch unvollständigen Rahmen für Tests, Schutzmaßnahmen und Aufsicht bei KI-Risiken; der Bericht ist eine unternehmenseigene Zwischenbilanz.
- Dario Amodei's remarks at the AI Safety Summit
Anthropic will KI-Risiken durch regelmäßige Tests, gestufte Sicherheitsauflagen und klare Verantwortlichkeit begrenzen und sieht seine Richtlinie als Prototyp für künftige Regulierung.
- A milestone in international AI transparency: The OECD publishes initial submissions from the G7 Hiroshima AI Process Reporting Framework
Die OECD veröffentlicht erste KI-Governance-Berichte von 19 Organisationen; konkrete Auswertungsergebnisse enthält der Beitrag noch nicht.
- AI capabilities can be significantly improved without expensive retraining
Laut Bericht können nachträgliche Modellverbesserungen bei relevanten Benchmarks große, geschätzte Leistungsgewinne bringen, weshalb Sicherheitsregeln auch künftige Zuwächse und breiteren Zugang zu diesen Verfahren berücksichtigen sollten.
- Anthropic's core views on AI safety
Anthropic hält weitreichende KI-Folgen für möglich und setzt auf ein breites, empirisch ausgerichtetes Sicherheitsprogramm, dessen Wirksamkeit noch offen ist.
- Article 51: Classification of General-Purpose AI Models as General-Purpose AI Models with Systemic Risk | EU Artificial Intelligence Act
Artikel 51 knüpft die Einstufung eines allgemeinen KI-Modells als systemisches Risiko an leistungsstarke oder vergleichbar wirkungsvolle Fähigkeiten und sieht dafür unter anderem eine Trainingsschwelle von mehr als 10²⁵ Gleitkommaoperationen vor.
- Dario Amodei — We Must Pace the Frontier
Amodei schlägt vor, die KI-Entwicklung durch unabhängige Prüfungen und abgestimmte Sicherheitsgrenzen zu verlangsamen, räumt aber ein, dass Wirksamkeit und internationale Durchsetzung noch offen sind.
- U.S. Intervention in the UN Security Council Meeting on "Artificial Intelligence and International Security"
Kratsios’ Rede fordert nationale statt globale Steuerung von „Superintelligenz“ und setzt auf Einführung und Kompetenzaufbau; die politischen Aussagen werden im Bericht nicht unabhängig überprüft.
- An Alien Mind
Pachocki warnt, dass KI-Fähigkeiten schneller wachsen könnten als ihre verlässliche Ausrichtung und Überwachung, und fordert deshalb Sicherheitsgrenzen sowie internationale Abstimmung.
- Global AI Governance Action Plan
- Charting a path to AI accountability
Anthropic fordert mehr standardisierte, risikobasierte und unabhängige KI-Prüfungen sowie vertrauliche Meldungen großer Trainingsläufe, räumt aber ein, dass wichtige Voraussetzungen erst geschaffen werden müssen.
- Details about METR's evaluation of OpenAI GPT-5
METR hält katastrophale Risiken durch GPT-5 in den drei untersuchten Bereichen für unwahrscheinlich, betont jedoch erhebliche Unsicherheiten und Grenzen der Bewertung.
- Introducing GPT-5.3-Codex
OpenAI kündigt GPT‑5.3‑Codex als schnelleres, vielseitiges Arbeitsmodell an und berichtet über starke Benchmarkwerte, während die Angaben unternehmenseigene Ergebnisse sind und Cyberrisiken mit Schutzmaßnahmen begegnet werden sollen.
- METR Finds Anthropic's AI-Assisted R&D Moving Twice as Fast
METR zufolge beschleunigte KI-Unterstützung Anthropics Modellentwicklung wahrscheinlich deutlich, doch redigierte Daten und begrenzte Messmethoden lassen die genaue Größenordnung offen.
- GPT-4
OpenAI zufolge ist GPT‑4 in vielen Tests leistungsfähiger als GPT‑3.5, bleibt aber fehleranfällig und erfordert bei wichtigen Anwendungen angemessene Kontrolle.
- Measurements for understanding the pace of AI development inside frontier labs
Anthropic berichtet vorläufige Kennzahlen zu KI-Forschung, Agentenaufsicht und Sicherheits-Rechenleistung und fordert vergleichbare Messungen sowie unabhängige Prüfungen.
- GPT-Red: Unlocking Self-Improvement for Robustness
OpenAI zufolge hilft das interne Modell GPT‑Red, Prompt-Injection-Schwachstellen zu finden und Produktionsmodelle robuster zu machen; die berichteten Erfolge gelten für die beschriebenen Tests und Szenarien.
- Introducing GPT-5.5
OpenAI stellt GPT‑5.5 als leistungsfähigeres und effizienteres Modell für anspruchsvolle Computer- und Forschungsaufgaben vor, doch die Belege beruhen teils auf internen oder ausgewählten Tests und der Text enthält widersprüchliche Angaben zur API-Verfügbarkeit.
- Introducing GPT-5
OpenAI zufolge verbindet GPT‑5 schnelle Antworten mit bedarfsgesteuertem Nachdenken und erzielt in eigenen Tests Fortschritte, deren Aussagekraft an die genannten Testbedingungen gebunden ist.
- GPT-4
OpenAI beschreibt GPT‑4 als leistungsfähiger und sicherer als GPT‑3.5, räumt aber unter anderem Verzerrungen und Halluzinationen als fortbestehende Grenzen ein.
- Learning to reason with LLMs
OpenAI zufolge verbessert o1 die Leistung bei anspruchsvollen Denkaufgaben, doch die Ergebnisse gelten für bestimmte Tests und der Bericht nennt zugleich Grenzen sowie Sicherheitsauffälligkeiten.
- Introducing SWE-bench Verified
OpenAI zufolge soll SWE-bench Verified durch menschlich geprüfte Aufgaben Software-Agenten verlässlicher bewerten, doch statische Benchmarks decken nur einen begrenzten Bereich ab und ihre Ergebnisse haben methodische Einschränkungen.
- Introducing gpt-oss
OpenAI veröffentlicht zwei offene Mixture-of-Experts-Sprachmodelle und behauptet starke Benchmark- und Werkzeugleistungen bei lokalem Betrieb; die im Bericht genannten Leistungs- und Sicherheitsbefunde sind Anbieterangaben.
- An Alien Mind
Der OpenAI-Wissenschaftler Jakub Pachocki warnt, dass KI schneller leistungsfähiger werden könnte, als ihre Ausrichtung und Überwachung Schritt halten, und fordert deshalb Sicherheitsgrenzen und internationale Koordination.
- Research acceleration: The view inside OpenAI
OpenAI meldet eine wachsende Rolle von KI-Agenten in der Forschung, betont aber die Vorläufigkeit der Messungen sowie die Notwendigkeit menschlicher Kontrolle und strenger Sicherheitsgrenzen.
- Detecting and reducing scheming in AI models
Laut OpenAI und Apollo Research senkte ein Anti-Scheming-Training verdeckte Handlungen in Tests deutlich, doch Testwahrnehmung, mögliche Verschleierung und die Abhängigkeit von lesbaren Gedankengängen erschweren die Bewertung.
- Planning for AGI and beyond
OpenAI beschreibt einen vorsichtigen und gesellschaftlich abgestimmten Weg zu AGI, räumt erhebliche Unsicherheit ein und kennzeichnet die Organisationsangaben des Beitrags als veraltet.
- Frontier AI regulation: Managing emerging risks to public safety
Der vorliegende Quelltext ist ein Auszug, der Regulierungsvorschläge für leistungsfähige KI-Modelle skizziert, darunter Sicherheitsprüfungen, Berichtspflichten und staatliche Aufsicht.
- Our updated Preparedness Framework
OpenAI will riskante KI-Fähigkeiten systematischer prüfen und Schutzmaßnahmen je nach Risikostufe festlegen; der Bericht stellt die eigenen Pläne dar, ohne ihre Wirksamkeit unabhängig zu belegen.
- Questions for the Record
OpenAI legt in den Antworten seine Vorschläge zu KI-Regeln und eigene Sicherheits-, Kreativ- und Kinderschutzmaßnahmen dar; der Bericht gibt dabei die Unternehmenssicht wieder, ohne deren Wirksamkeit unabhängig zu prüfen.
- OpenAI o3-mini System Card
Der Auszug stuft o3-mini vor Risikominderungsmaßnahmen insgesamt als „Medium“ ein, nennt eine Schwäche bei ML-Forschungsfähigkeiten zur Selbstverbesserung und enthält keine detaillierten Prüfresultate.
- GPT-4.5 system card
Der bereitgestellte Auszug gibt OpenAIs positive Einschätzungen zu GPT‑4.5 und seiner Sicherheit wieder, enthält aber keine konkreten Bewertungswerte oder ausführlichen Belege.
- How we think about safety and alignment
OpenAI setzt laut Bericht auf schrittweise Erprobung, mehrschichtige Schutzmaßnahmen, menschliche Kontrolle und gemeinsame Verantwortung, räumt jedoch erhebliche Unsicherheit und offene Wirksamkeitsfragen ein.
- Usage policies
OpenAI beschreibt Regeln gegen schädliche, übergriffige und manipulative Nutzungen, mit besonderen Schutzvorgaben für Minderjährige, sensible Entscheidungen und die Weiterverwendung von Modellausgaben.
- https://arxiv.org/pdf/2410.07095
MLE-bench zeigt, dass die getesteten KI-Agenten bei Kaggle-ähnlichen ML-Aufgaben noch oft scheitern: o1-preview mit AIDE erreichte bei 16,9 Prozent der Wettbewerbe eine Medaille, wobei Aussagekraft und Übertragbarkeit des Benchmarks begrenzt sind.
- OpenAI o1 System Card
OpenAI zufolge verbessert o1 viele Sicherheitsmesswerte, birgt aber in bestimmten Bereichen mittlere Risiken, und die Tests erfassen mögliche Gefahren nur begrenzt.
- https://arxiv.org/pdf/2501.18841
Der Bericht findet Hinweise, dass mehr Inferenzaufwand manche Angriffe auf Reasoning-Modelle erschwert, betont aber, dass Mehrdeutigkeit, neue Angriffsarten und der begrenzte Versuchsrahmen keine vollständige Sicherheitslösung erkennen lassen.
- https://arxiv.org/pdf/2102.02503
Eine Gesprächsrunde über GPT‑3 hob dessen Fähigkeiten und mögliche gesellschaftliche Risiken hervor, ließ aber zentrale Fragen zu Verständnis, Sicherheit und Folgen offen.
- gpt-oss-120b & gpt-oss-20b Model Card
Die Model Card berichtet über leistungsfähige offene Schlussfolgerungsmodelle mit benannten Sicherheitsgrenzen und kommt anhand der beschriebenen Tests zu dem Schluss, dass sie interne Schwellen für hohe Fähigkeiten in drei Risikobereichen nicht erreichen.
- The Incident Report Is Becoming a Building Block of AI Governance
- Safety Cases: A Scalable Approach to Frontier AI Safety
Der arXiv-Auszug stellt Safety Cases als möglichen Beitrag zur Sicherheit fortgeschrittener KI vor, belegt ihre Wirkung aber nicht konkret.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →