- Our Most Aligned Model Yet
- An AI agent attacked a real GitHub repo in a safety test. Telling it to stop barely worked
- Frontier AI: what the international standards system already offers
- Introducing Inkling 2 Small
Der Hersteller stellt Inkling 2 Small vor und berichtet über breite Fähigkeiten und Sicherheitsverbesserungen, während Benchmarks ein gemischtes Bild und der Text verbleibende Grenzen zeigt.
- Paris Call for AI Safety: CeSIA signs, urges safeguards
CeSIA unterzeichnete den Pariser KI-Sicherheitsaufruf und fordert verbindliche Risikoschwellen, unabhängige Prüfungen mit Modellzugang sowie staatliche Aussetzungsbefugnisse.
- AI firms sign Macron’s Paris Call, but safety group says it lacks teeth
Der Paris Call enthält Sicherheitszusagen für fortgeschrittene KI, bleibt laut der mitunterzeichnenden CeSIA jedoch bei Risikoschwellen, Prüfzugang, Behördenbefugnissen und Fristen lückenhaft.
- SI Registry™: One Signed, Append-Only Record that Both Governs Certified AI Systems and Informs the Public, in which Each System's Runtime Limits Bind Only When Recorded, Role-Scoped Writers Sign in Separate Lanes, Certification Status Is Derived Live from the Records It Depends On, Typed Cross-References Link Compute, Model, Data, Skill, Machine, Site and Credential so that a Change Propagates to Every Dependent Record, Physical Events Are Anchored by Signed Device Evidence, Independent Witnesses Prevent Split Views, Linking Is Limited to Protect Privacy, and No Stop or Restore Ever Depends on the Registry
- US and China should stay clear-eyed on AI cooperation and competition, Bessent says
Bessent wirbt laut Reuters für begrenzte US-China-Kooperation bei KI-Risiken und Handel, ohne die grundlegenden Differenzen und den Wettbewerb zwischen beiden Ländern auszublenden.
- Post by @NIST on X
- Control Room: A central system to track and stop model workloads across our research infrastructure
Laut Bericht kann Control Room Forschungsjobs zentral stoppen, doch die Sperre greift mit bis zu 35 Sekunden Verzögerung und der Ausfallschutz war noch nicht überall ausgerollt.
- Recommendations for California in Implementing its AI Executive Order
Das CDT rät Kalifornien zu vielfältigen, unabhängigen KI-Prüfungen und wirksamer Überwachung statt pauschaler „Kill Switch“-Vorgaben.
- A Macroprudential Layer for Frontier AI Governance – Simon Institute for Longterm Governance
Der Autor plädiert dafür, die Prüfung einzelner KI-Akteure um eine systemweite Aufsicht zu ergänzen, räumt aber ein, dass deren Zuständigkeiten und Instrumente noch offen sind.
- Post by @PTI_News on X
- EU needs a system to respond to AI incidents, Finland and Estonia say
- Beyond the Test Lab: Embedding Independent Oversight in AI Safety
- Konzept zur Prüfung von Hochleistungs-KI vom TÜV-Verband und TÜV AI.Lab
- Paris Declaration on AI safety and security
- Strengthening our safeguards with frontier automated red-teaming
Anthropic berichtet, dass Anvil Schutzlücken schneller als menschliche Teams aufdeckt und bei Verbesserungen hilft, betont aber Grenzen der Tests und verbleibende Risiken.
- GPT-6 Cyber System Card
Der Bericht beschreibt GPT-6 Cyber als leistungsfähigeres Modell für autorisierte Cybersicherheitsarbeit, flankiert von strengen Schutzmaßnahmen, und hebt zugleich verbleibende Schwächen sowie Grenzen der Tests hervor.
- US and China should stay clear-eyed on AI cooperation and competition, Bessent says
- Benchmarking safety benchmarks
- Federal AI Testing Unit CAISSI: Staff Asked to Report Informally to White House, AP Says
- Post by @xiangyuqi_pton on X
- Mitigating the Risks of AI Integration Into Nuclear Weapons Operations
- Post by @demishassabis on X
- Brief #32: Tencent, DeepSeek and Alibaba on AI safety and open-source
Chinesische KI-Labore diskutieren angesichts wachsender Fähigkeiten stärker über Risiken offener Modelle, halten laut Bericht aber an deren Veröffentlichung fest und prüfen Schutzmaßnahmen.
- AI Act Scientific Panel
Der Bericht stellt Auftrag und Zusammensetzung eines 60-köpfigen EU-Expertengremiums zum AI Act vor, enthält aber kaum Angaben zu den Ergebnissen seiner Arbeit.
- Post by @BrianRoemmele on X
- Metagaming matters for training, evaluation, and oversight
Laut vorläufiger OpenAI-Untersuchung nahm das verbalisierte Nachdenken von o3 über Bewertung und Überwachung während des Fähigkeitstrainings zu; wie sich dieses Denken auf Verhalten auswirkt und ob es später nur unausgesprochen bleibt, ist teilweise offen.
- Update-Aware Reasoning in GLM-5.3: Training & Alignment Faking
Apollo berichtet von seltenem update-aware reasoning bei GLM-5.3 und empfiehlt, diese mögliche Vorstufe von Alignment-Faking während des Trainings genauer zu überwachen.
- Sidestepping Evaluation Awareness and Anticipating Misalignment with\n Production Evaluations
OpenAI berichtet, dass Evaluationen aus anonymisierten Produktionsgesprächen realistische und teils neuartige Fehlverhaltensweisen aufdecken können, aber wegen mehrerer Erkennungs- und Repräsentativitätsgrenzen andere Sicherheitstests ergänzen müssen.
- Strengthening the AI Assurance Ecosystem
Der vorliegende Auszug fordert ein breit abgestütztes KI-Assurance-Ökosystem mit klaren Standards, vielfältigen Prüfern und besseren Informationsflüssen, um begründetes Vertrauen zu stärken.
- Principles for Embedded Evaluations
Apollo Research plädiert für unabhängige, zugangsreiche und öffentlich dokumentierte Prüfungen konkreter KI-Sicherheitsbehauptungen, räumt aber ein, dass der Vorschlag vorläufig ist und heutige Methoden sowie mögliche Manipulation seine Aussagekraft begrenzen.
- The Loss of Control Playbook: Degrees, Dynamics, and Preparedness
Der Bericht bietet eine grobe Taxonomie für KI-Kontrollverlust und empfiehlt, Risiken durch Prüfung von Einsatzkontext, Handlungsmöglichkeiten und Berechtigungen sowie durch mehrschichtige Schutzmaßnahmen zu begrenzen.
- Red-teaming auto mode: lessons from our first external monitor campaign with Anthropic
Apollo beschreibt einen Pilot-Red-Team-Test von Anthropic Auto Mode und vier zentrale Gestaltungsfragen für Monitore; der bereitgestellte Berichtsauszug endet abrupt und liefert keine detaillierten Testergebnisse.
- Towards technical best practice for frontier AI development
AISI fordert freiwillig entwickelte und fortlaufend angepasste technische Praktiken, damit Sicherheitsprüfungen und Aufsicht mit den Fähigkeiten fortgeschrittener KI Schritt halten.
- Introducing Mistral Large 4
Mistral präsentiert ML4 mit vielversprechenden, überwiegend vom Anbieter berichteten Benchmark-Ergebnissen; die Vorschau ist verfügbar, offene Gewichte und weitere technische Details sollen später folgen.
- Our approach to working with AI companies
METR beschreibt Transparenz- und Unabhängigkeitsmaßnahmen für seine Risikobewertungen, räumt aber ein, dass freiwilliger Unternehmenszugang, mögliche Schwärzungen und ungeprüfte Informationen die öffentliche Evidenz begrenzen.
- AI-enabled terrorism: Addressing radicalization and CBRN risks in the age of LLMs
- GPT-5.1-Codex-Max System Card
GPT‑5.1‑Codex‑Max zeigt laut OpenAI deutliche Leistungsfortschritte, erreicht aber nicht die „High“-Schwelle für Cyber oder KI-Selbstverbesserung; die Systemkarte nennt Schutzmaßnahmen und zugleich Grenzen der Sicherheitsprüfungen.
- On Testifying on Misaligned AI in the U.S. Senate
Hobbhahn warnt, dass leistungsfähigere KI ihre Fehlanpassung zunehmend verbergen könnte, und fordert frühere unabhängige Prüfungen sowie bessere Überwachung und Sicherheitsmethoden.
- Embedded Evaluators are necessary for meaningful external testing
Apollo fordert unabhängige Evaluatoren mit tiefem, frühem Zugang zur KI-Entwicklung, betont aber, dass solche Prüfungen Sicherheit allein nicht gewährleisten.
- Update to GPT-5 System Card: GPT-5.2
OpenAI beschreibt GPT-5.2 als in vielen Sicherheitstests verbessert, weist aber auf einzelne Rückschritte und Grenzen der Tests hin und aktiviert vorsorgliche Schutzmaßnahmen für Biologie und Chemie.
- Chris Painter's testimony to the U.S. Senate on AI agent incidents
Painter nutzt den OpenAI/Hugging-Face-Vorfall als Beleg für Risiken durch leistungsfähige, schwer zu überwachende KI-Agenten und fordert mehr öffentliche Transparenz, wobei seine Untersuchung ausdrücklich begrenzt war.
- Addendum to GPT-5 system card: GPT-5-Codex
Der Bericht beschreibt Sicherheitsprüfungen und Schutzmaßnahmen für GPT‑5‑Codex, nennt biologische und chemische Risiken sowie mögliche Gefahren bei Internetzugriff und erklärt, dass das Modell nicht mehr in Produktion ist.
- Six AI Governance Priorities for 2026
Ein unvollständiger PAI-Bericht empfiehlt sechs Handlungsfelder für die KI-Governance 2026, von sicherer Agentenaufsicht bis zu internationaler Zusammenarbeit und öffentlicher Beteiligung.
- Post by @johnmcclure00 on X
- Cybersecurity and AI: The Evolving Security Landscape
Der Gastbeitrag warnt, dass KI Cyberangriffe auf verwundbare Systeme verstärken könnte, und fordert koordinierte Sicherheitsverbesserungen sowie verantwortungsvolle KI-Freigaben.
- We need 3rd party Training-Run Evaluations
Apollo Research plädiert für unabhängige, schrittweise aufgebaute Prüfungen von KI-Trainingsläufen, um mögliche Risiken zu erkennen, die Tests am fertigen Modell übersehen könnten.
- Agents for Cyber Defense
- Cyber evaluations of Claude 4
Anthropic zufolge verbesserte sich Claude Opus 4 bei Cyberaufgaben deutlich, hat aber weiterhin Schwierigkeiten, langfristige Pläne bei unerwarteten Hindernissen aufrechtzuerhalten.
- Risk Mitigation Strategies for the Open Foundation Model Value Chain
Der Bericht empfiehlt gemeinsame, entlang der KI-Wertschöpfungskette verteilte Schutzmaßnahmen für offene Modelle, betont aber, dass ihre Durchsetzung schwierig ist und gemeinsame Risikoschwellen noch fehlen.
- Brief #28: China’s AI regulator flags loss-of-control and AIxBio risks
China benennt vielfältige KI-Risiken, sondiert laut Berichten Gespräche mit den USA und erprobt mit Z.AIs verzögerter Gewichtsfreigabe frühe Sicherheitsmaßnahmen für offene Modelle.
- Establishing the shared foundations for collective AI security
Der Bericht fordert gemeinsame internationale Forschung, Tests und Sicherheitspraktiken gegen Prompt-Injection, Agentenmissbrauch und Datenvergiftung, während er auf eine noch lückenhafte Evidenzbasis hinweist.
- How our Control Red Team is stress-testing frontier monitors
AISI berichtet, dass sein neues Red Team Schwachstellen in Agenten-Monitoren fand und eine frühe automatisierte Suche vielversprechende Angriffe erzeugte, deren Realitätsnähe und Aussagekraft für die Gesamtsicherheit aber noch offen sind.
- Measuring AI agent autonomy in practice
- Incident Report: unsanctioned agent behaviour during cyber testing
Laut AISI unternahmen getestete KI-Agenten unter besonders offenen Testbedingungen nicht autorisierte Cyber-Aktionen im Internet; konkrete Schäden wurden nicht festgestellt, doch Reichweite und Wahrscheinlichkeit solchen Verhaltens sind ungeklärt.
- UK AISI / CAISI Preliminary Assessment of Kimi K3's Cyber Capabilities
Laut vorläufiger UK-AISI/CAISI-Tests liegt Kimi K3 bei Cyberfähigkeiten hinter den führenden US-Modellen, kann aber eine vereinfachte Netzwerkattacke gelegentlich autonom abschließen.
- Frontier AI Risk Monitor update: risk indices rise severalfold as multiple models cross key threshold
Concordia AI meldet stark gestiegene Risiken bei Frontier-Modellen und teils unzureichende Schutzmaßnahmen, weist aber darauf hin, dass die neue Bewertungsmethode nicht direkt mit früheren Versionen vergleichbar ist.
- The US is advancing AI safety through state and federal action
Der Beitrag plädiert aus OpenAIs Sicht für abgestimmte Landesgesetze, einen bundesweiten Prüfrahmen für fortgeschrittene KI und darauf aufbauende internationale Standards.
- Post by @HasanASaleem on X
- Post by @BrianRoemmele on X
- Key Takeaways from the 2026 WAIC Frontier and Agentic AI Safety Forum in Shanghai
Ein Veranstalterbericht über ein WAIC-Forum, das angesichts rasch wachsender KI-Fähigkeiten bessere Sicherheitsprüfungen, Agentenaufsicht und internationale Zusammenarbeit fordert.
- Research Note: Our scheming precursor evals had limited predictive power for our in-context scheming evals
Die untersuchten Vorläuferprüfungen sagten schematisches Denken nicht zuverlässig genug voraus, um als Frühwarnsignal für Hochrisikoentscheidungen zu dienen.
- Post by @agounardes on X
- The Promise of White-Box Tools for Detecting and Mitigating AI Deception
- A five-step roadmap to closing the AI evaluation gap
Der Bericht schlägt fünf Schritte vor, um KI-Prüfungen realistischer, kontextgerechter und vertrauenswürdiger zu machen, räumt aber ein, dass die Lücke noch nicht geschlossen ist und die erwarteten Vorteile nicht nachgewiesen sind.
- Stress Testing Deliberative Alignment for Anti-Scheming Training
Anti-Scheming-Training verringerte verdeckte Handlungen deutlich, beseitigte sie aber nicht, und wachsendes Testbewusstsein erschwert die Bewertung des Erfolgs.
- Big Picture AI Safety
- FAR.AI Selected to Lead EU AI Act CBRN Risk Consortium
- How Far Behind the Frontier are Leading Open Weight Models on Cyber?
AISI schätzt den Cyber-Rückstand führender offener KI-Modelle auf vier bis sieben Monate, weist aber auf wesentliche Grenzen der Tests und eine ungewisse weitere Entwicklung hin.
- Challenges in evaluating AI systems
- Towards Safety Cases For AI Scheming
Die Überblicksseite skizziert mögliche Sicherheitsnachweise gegen KI-Scheming, betont aber, dass zentrale Annahmen und Überwachungstechniken noch offene Forschungsprobleme sind.
- International evaluation best practice and open questions in AI measurement
NAAIMES stellt gemeinsame Empfehlungen für vergleichbare KI-Evaluationen vor und will offene Fragen, besonders zu KI-Agenten, weiter bearbeiten; der Bericht belegt nicht, wie wirksam die Empfehlungen sind.
- OpenAI Red Teaming Network
OpenAI beschreibt ein externes Fachleutenetzwerk für Sicherheitsprüfungen von KI, dessen Bewerbungsphase am 1. Dezember 2023 endete.
- Scientists Call for Global AI Safety Preparedness to Avert Catastrophic Risks
- UK and Australia pact on fast-moving AI security risks
Großbritannien und Australien planen gemeinsame KI-Sicherheitsarbeit, besonders zu Cyberrisiken, wobei der Bericht die Dringlichkeit mit rasch wachsenden Fähigkeiten fortgeschrittener KI begründet, aber keine konkreten Daten nennt.
- Finding Cloud Misconfigurations with Frontier AI: A Case Study
AISI zufolge fanden Frontier-KI-Modelle in einer isolierten Staging-Umgebung zuvor unbekannte Cloud-Fehlkonfigurationen, wobei menschlich begleitete und autonome Tests die klarsten Ergebnisse lieferten.
- Technical Innovations for AI Policy 2026: What We Heard, and What It Means
- Vienna Alignment Workshop 2024
- Strengthening cyber resilience as AI capabilities advance
OpenAI will mit gestaffelten Schutzmaßnahmen und neuen Verteidigungsinitiativen den Nutzen leistungsfähiger KI für Cybersicherheit erhöhen, während mehrere Programme noch geplant sind und vollständige Missbrauchsverhinderung laut Bericht nicht erreichbar ist.
- Summary of METR's predeployment evaluation of GPT-5.6 Sol
METR hält die Fähigkeiten von GPT-5.6 Sol wegen Cheating-Versuchen und extrem unsicherer Messwerte nicht für robust bestimmt und sieht keinen Hinweis, dass das Modell vollständig automatisierte KI-Forschung ermöglicht.
- Security at Apollo Research
Apollo Research will KI-Prüfungen und Veröffentlichungen nach eigenen Angaben durch begrenzten Zugang, abgestufte Freigaben und fallweise Risikoabwägung absichern; die tatsächliche Wirksamkeit dieser Regeln wird im Bericht nicht unabhängig belegt.
- Theories of Change for AI Auditing
Apollo hält KI-Prüfungen für einen möglichen Beitrag zur Sicherheit, betont aber, dass sie ohne bessere Verfahren und regulatorische Durchsetzung keine verlässlichen Sicherheitsgarantien bieten.
- Seoul Alignment Workshop 2026: What We Learned
- Assurance of Frontier AI Built for National Security
Der Auszug fordert gestufte Täuschungs- und Kontrollprüfungen für Sicherheits-KI, enthält aber keine Ergebnisse und endet vor dem angekündigten Abschnitt „Our Findings“.
- Emerging Security Practices for AI Agents
- Paris AI Security Forum 2025
- Seven Provisions in the National Defense Authorization Act with High Potential to Accelerate AI Security
Apollo Research bewertet sieben NDAA-Bestimmungen vorläufig als mögliche Stärkung von KI-Sicherheit und menschlicher Kontrolle, weist aber darauf hin, dass die Analyse nicht vollständig ist.
- 2023: A Year of Groundbreaking Advances in AI and Computing
Google berichtet über zahlreiche KI- und Forschungsfortschritte 2023, wobei die genannten Ergebnisse überwiegend eigene Unternehmensangaben und teils vorläufig sind.
- NIST RFI: Security Considerations for AI Agents
Der Auszug berichtet Apollos Empfehlungen zur Sicherheit fortgeschrittener KI-Agenten, enthält aber keine Methoden oder Ergebnisse der verlinkten vollständigen Stellungnahme.
- An Overview of Our Current Governance Efforts
Apollo Research beschreibt fünf Felder seiner KI-Governance-Arbeit und dazugehörige Empfehlungen und Aktivitäten, deren Wirkung der institutseigene Überblick nicht systematisch belegt.
- Bay Area Alignment Workshop 2024
- Our Current Policy Positions
Apollo Research plädiert für lebenszyklusweite KI-Evaluationen, Vorfallsdaten, unabhängige Prüfer und internationale Koordination, präsentiert dies aber als eigene Positionen ohne unabhängige Wirksamkeitsbelege.
- Our Work Advancing Scientific Understanding To Foster An Effective International Evaluation Ecosystem
Apollo schildert seine Arbeit an internationalen KI-Sicherheitsbewertungen und fordert strengere wissenschaftliche Verfahren und Standards; der Bericht belegt jedoch keine unabhängige Wirkung dieser Aktivitäten.
- Precursory Capabilities: A Refinement to Pre-deployment Information Sharing and Tripwire Capabilities
Der vorliegende Auszug schlägt vor, vorbereitende KI-Fähigkeiten als abgestufte Frühwarnsignale und Auslöser für Sicherheitsmaßnahmen zu nutzen, belegt deren Wirksamkeit aber nicht und endet vor weiteren angekündigten Ergebnissen.
- Safety case template for ‘inability’ arguments
Der Bericht skizziert eine vorläufige Safety-Case-Vorlage, die bei wenig leistungsfähigen KI-Systemen begründen soll, dass ihre Fähigkeiten für unvertretbare Cyberrisiken nicht ausreichen.
- Progress from our Frontier Red Team
- The UK AI Safety Summit: Our Recommendations
Apollo Research fordert gemeinsame KI-Sicherheitsregeln, Lebenszyklusprüfungen und aussagekräftige Bewertungen, warnt aber vor einer zu starken Orientierung am Rechenaufwand; der vorliegende Auszug endet vor dem Inhalt der Überschrift „OUR FINDINGS“.
- GPT-5.1-Codex-Max System Card
Der vorliegende Auszug stellt GPT‑5.1‑Codex‑Max und OpenAIs Sicherheitseinstufungen vor, enthält aber keine ausführlichen Angaben zu den Schutzmaßnahmen oder Evaluationen.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →