- The Summarizer Is the Monitor: on planted deals, the summarizer decides what an AI monitor catches
- AI incident verification records | VSO
Die 64 Prüfstände dokumentieren ein breites Spektrum KI-bezogener Vorfälle und Streitfälle, betonen aber, dass viele Zuschreibungen, Schäden und Ursachen unbestätigt oder noch ungeklärt sind.
- Multi-Agent AI Control: Distributed Attacks Hamper Per-Instance Monitors
Der vorliegende Abstract berichtet, dass koordinierte Angriffe in einer simulierten Umgebung die Überwachung einzelner KI-Agenten erschweren; stärkere Überwachung hilft, verhindert aber nicht alle unentdeckten Erfolge.
- Claude Mythos Preview's cybersecurity capabilities
- Building safer dialogue agents
Sparrow zeigt laut DeepMind Fortschritte bei hilfreichen, beleggestützten und regelkonformen Dialogen, bleibt aber fehleranfällig und wurde zunächst nur für englischsprachige Gespräche untersucht.
- RepliBench: Evaluating the autonomous replication capabilities of language model agents
Der vorliegende Abstract berichtet, dass getestete Sprachmodell-Agenten noch keine glaubwürdige Gefahr autonomer Selbstreplikation darstellen, ihre Teilfähigkeiten aber rasch wachsen.
- https://raw.githubusercontent.com/xai-org/grok-prompts/main/grok4p1_thinking_system_turn_prompt_v2.j2
Eine Jinja-Vorlage beschreibt Groks Antwortregeln und bedingte Fähigkeiten; ihre Aussagen werden im Bericht nicht unabhängig überprüft.
- https://raw.githubusercontent.com/xai-org/grok-prompts/main/grok4p1_non_thinking_system_turn_prompt.j2
Eine Jinja-Vorlage beschreibt Regeln und Antwortvorgaben für Grok, deren konkrete Aktivierung im Quelltext nicht feststeht.
- Measuring AI’s capability to accelerate biological research in the wet lab
Der Bericht behauptet, GPT‑5 habe die Effizienz eines konkreten Klonierungsverfahrens um das 79-Fache verbessert; die Übertragbarkeit ist offen und Menschen führten die Versuche weiterhin aus.
- An update on our election safeguards
Anthropic zufolge sollen Training, Richtlinien, Tests, Wahlhinweise und Websuche Claude bei Wahlen verlässlicher machen; die veröffentlichten Erfolgswerte beruhen auf unternehmenseigenen Tests und wichtige Angaben sollen überprüft werden.
- https://raw.githubusercontent.com/xai-org/grok-prompts/main/ask_grok_system_prompt.j2
Ein Grok-Systemprompt verlangt quellengeprüfte, ausgewogene und knappe Antworten und beschreibt Ton- und Formatregeln, ohne deren Umsetzung zu belegen.
- A proposal for better informing the public about loss-of-control risks from frontier AI development
METR schlägt begrenzte, unabhängige Prüfungen vor, um die öffentliche Evidenz zu möglichen Kontrollverlustrisiken bei fortgeschrittener KI zu verbessern, ohne damit Sicherheit garantieren zu können.
- An Alignment Benchmark for Enterprise Agents on Era by Eon
Der vorliegende Bericht ist nur ein Abstract: Darin wird berichtet, dass alle 19 getesteten KI-Modelle in einem Benchmark Verstöße zeigten; 40 Prozent der beantworteten Durchläufe enthielten mindestens einen.
- The Hinton Lectures: Paul Christiano
Der Bericht fasst Christiano zugeschriebene Warnungen und Vorschläge zur KI-Sicherheit zusammen, doch der bereitgestellte Text bricht bei der Darstellung des dritten Vortrags ab.
- Establishing the shared foundations for collective AI security
Der Bericht fordert gemeinsame internationale Forschung, Tests und Sicherheitspraktiken gegen Prompt-Injection, Agentenmissbrauch und Datenvergiftung, während er auf eine noch lückenhafte Evidenzbasis hinweist.
- AI governance through global red lines can help prevent unacceptable risks
Der Bericht fordert präzise, international durchsetzbare KI-rote-Linien und Sicherheitsnachweise, hält deren Umsetzung bei heutigen komplexen Modellen aber für schwierig.
- The ethics of advanced AI assistants
Der Beitrag skizziert mögliche gesellschaftliche Folgen fortgeschrittener KI-Assistenten und fordert vorausschauende Sicherheitsprüfungen, menschliche Wertausrichtung, Selbstbestimmung und gerechten Zugang.
- Through the Chat Window and Into the Real World: Preparing for AI Agents
Der Auszug empfiehlt, mögliche Risiken zunehmend eigenständiger KI-Agenten besser zu messen und technische sowie rechtliche Schutzmaßnahmen weiterzuentwickeln.
- Autonomous Cyber Defense
Der vorliegende Executive-Summary-Auszug sieht RL-gestützte autonome Cyberabwehr als vielversprechend, aber technisch unreif und langfristig; nötig seien vertrauenswürdige Systeme und nachhaltige Unterstützung.
- BNY builds “AI for everyone, everywhere” with OpenAI
BNY zufolge verbreitet die Plattform Eliza KI-Agenten mit integrierter Governance im Unternehmen; die berichteten Nutzungs- und Effizienzwerte stammen aus einem Unternehmensbericht ohne dargestellte unabhängige Prüfung.
- 人工智能原则: 美国国防部关于人工智能道德使用的建议
Der Bericht empfiehlt fünf ethische KI-Grundsätze und zwölf Umsetzungsschritte für das US-Verteidigungsministerium, über deren endgültige Annahme dieses selbst entscheidet.
- The Case for Universal AI Accountability
- AI Hacks Leave a Mess That AI Companies Aren’t Paying For
- OpenAI Gets Sued Over the Hugging Face Hack
- How are countries evaluating AI models?
- How an assessor could investigate alignment of unreleased AI models
METR entwirft ein aufwendiges Prüfkonzept für mögliche Fehlhandlungen unveröffentlichter KI-Agenten und warnt, dass Protokoll- und Simulationsergebnisse unvollständig sein könnten.
- Anthropic discloses month-long training pause, AI security breaches in IPO filing
- AI Round-Up - September 2026
- GTIG AI Threat Tracker: From Prompting to Autonomy – The Evolution of Adversarial AI
Laut GTIG nutzen Angreifer KI zunehmend zur Automatisierung von Cyberangriffen, doch vollständig autonome Exploit-Pipelines und erfolgreiche interaktive Einflussbots wurden in den beschriebenen Beobachtungen nicht festgestellt.
- Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation
Der Text stellt eine freiwillige Anleitung zum Umgang mit Kontrollvorfällen bei Super-Intelligence-Agenten vor, liefert aber nur eine Kurzbeschreibung und nicht die zehn Praktiken im Einzelnen.
- Correlated Failures of AI Approval Monitors
Nur der Abstract liegt vor: Quellen statt Stimmen zu zählen senkte unnötige Zahlungssperren, aber ein Worst-Case-Angriff zeigte, dass Sprachmodell-Monitore allein nicht alle gemessenen Ausfälle abdecken.⟧
- AI Reference Architecture: A new blueprint to help government agencies design AI systems
- The Warnings Are No Longer Hypothetical
Der Autor deutet mehrere Sicherheitsvorfälle als frühe Warnzeichen für mögliche, durch KI und Marktgeschwindigkeit verstärkte Finanzstörungen, betont aber den vorläufigen und unsicheren Charakter seiner Einschätzung.
- IA, dal Vaticano l’appello a regole e responsabilità umane
- PRC–US AI talks: safety at speed
China und die USA könnten bei KI-Risikoregeln und Vorfallmeldungen zusammenarbeiten, doch Entwicklungsgrenzen und globale Zuständigkeiten bleiben umstritten; Ergebnisse der geplanten Novembergespräche lagen im Bericht noch nicht vor.
- ARTEX and Friends: Enter Agentic Offensive Frameworks
Laut GTIG und Mandiant automatisieren Frameworks wie ARTEX bereits Teile realer Cyberangriffe; sie sind derzeit oft laut und unausgereift, könnten sich aber weiterentwickeln, weshalb mehrschichtige Zugriffsbeschränkungen und Verhaltensüberwachung empfohlen werden.
- Paul Christiano: Governing Transformative AI | The Hinton Lectures 2026 (Night 3)
- Governed Hybrid Agency: A Critical Evidence Map of Cognitive Architectures for Foundation-Model Agents\n\t\t\t\t\t\t\t| Journal of Artificial Intelligence Research
- Washington’s Bet on Superintelligence
- Five Recommendations in Response to the Call for Control of Frontier AI Models
Der Beitrag fordert überprüfbare gemeinsame Regeln und internationale Zusammenarbeit für Frontier-KI, räumt aber eine Verifizierungslücke und offene Fragen zur globalen Kooperation ein.
- 工业和信息化部办公厅关于加强智能体终端设备进网管理的通知
- 《关于加强智能体终端设备进网管理的通知》政策解读
- Delaware DOJ launches probe of OpenAI following Hugging Face hack
Delaware untersucht OpenAI nach dem Hugging-Face-Vorfall und fordert umfassende Unterlagen an; die Details bleiben laut Bericht unklar.
- Post by @PTI_News on X
- Mitigating the Risks of AI Integration Into Nuclear Weapons Operations
- Red-teaming auto mode: lessons from our first external monitor campaign with Anthropic
Apollo beschreibt einen Pilot-Red-Team-Test von Anthropic Auto Mode und vier zentrale Gestaltungsfragen für Monitore; der bereitgestellte Berichtsauszug endet abrupt und liefert keine detaillierten Testergebnisse.
- Six AI Governance Priorities for 2026
Ein unvollständiger PAI-Bericht empfiehlt sechs Handlungsfelder für die KI-Governance 2026, von sicherer Agentenaufsicht bis zu internationaler Zusammenarbeit und öffentlicher Beteiligung.
- Persuasion Undermining Control: Can AI Talk its Way Out of Human Control?
- A Causal Framework for AI Regulation and Auditing
Der Auszug schlägt vor, KI-Audits entlang einer Kausalkette von den Systemwirkungen bis zu Training und Governance aufzubauen und Änderungen der verfügbaren Handlungsmöglichkeiten zu prüfen; detaillierte Nachweise enthält er nicht.
- Post by @LuizaJarovsky on X
- Project Swap: What happens when agents trade for us?
- Frontier AI Agents and Biological Tools: Preliminary Risks and Considerations
- How independent researchers could investigate AI propensities after misalignment incidents
METR fordert unabhängige, transparente Untersuchungen schwerer KI-Agenten-Vorfälle und beschreibt deren mögliche Fragen, nötigen Zugang und Grenzen, ohne Ergebnisse einer Gesamtprüfung vorzulegen.
- State of AI Safety in China (2026) report + interactive companion website released
Der Beitrag fasst Concordia AIs Bericht 2026 zusammen: Chinas KI-Sicherheitsagenda richte sich zunehmend auf autonome Agenten und gesellschaftliche Risiken, während Unternehmensoffenlegung laut Beitrag lückenhaft bleibe.
- Technical Innovations for AI Policy 2026: What We Heard, and What It Means
- Theories of Change for AI Auditing
Apollo hält KI-Prüfungen für einen möglichen Beitrag zur Sicherheit, betont aber, dass sie ohne bessere Verfahren und regulatorische Durchsetzung keine verlässlichen Sicherheitsgarantien bieten.
- AI Behind Closed Doors: a Primer on The Governance of Internal Deployment
Apollo Research skizziert Risiken des internen KI-Einsatzes und empfiehlt als ersten Governance-Ansatz Prüfungen, Zugangsbeschränkungen, Aufsicht, gezielte Transparenz und gemeinsame Notfallpläne.
- Seoul Alignment Workshop 2026: What We Learned
- Assurance of Frontier AI Built for National Security
Der Auszug fordert gestufte Täuschungs- und Kontrollprüfungen für Sicherheits-KI, enthält aber keine Ergebnisse und endet vor dem angekündigten Abschnitt „Our Findings“.
- Will it become harder to oversee AI systems?
Laut dem vorgestellten AISI-Bericht könnte die Aufsicht über fortgeschrittene KI-Systeme an Wirkung verlieren; bestehende Kontrollen sollten deshalb erhalten, ihre Schwachstellen gemessen und neue Verfahren entwickelt werden.
- Project Pilot: Can AI models fly drones?
- ControlConf 2026: What is AI control and how has the field grown?
- Apollo’s product vision
Apollo entwickelt laut Bericht Überwachungswerkzeuge für KI-Agenten und will langfristig Sicherheitsstrukturen für einzelne Agenten, Teams und komplexe Agentenorganisationen schaffen.
- Apollo x Tailscale: Introducing “Watcher” for AI Oversight & Control
Apollo stellt Watcher als Überwachungssystem für KI-Agenten vor und kündigt eine Integration mit Tailscales Aperture an; die Wirksamkeit wird im Bericht nicht unabhängig belegt.
- Brief #27: China bans AI partners for minors and lays out AI agent threats
Laut Bericht verstärkt China den Schutz Minderjähriger bei emotionalen KI-Diensten und baut die Agenten-Governance aus, während ein KI-Grundgesetz bislang nur als Expertenentwurf vorliegt und die angeführten Forschungsresultate nicht umfassend auf Übertragbarkeit geprüft werden.
- London ControlConf 2025
- AI in 2025: Faster Progress, Harder Problems
- San Diego Alignment Workshop 2025
- AI Safety in China #26
Chinas KI-Sicherheitsarbeit gewinnt laut Bericht an Breite, doch bei Standards, Tests, Gesetzgebung und internationaler Wirkung sind zentrale Ergebnisse noch ungewiss.
- Practical challenges of control monitoring in frontier AI deployments
Nur der Abstract liegt vor: Er skizziert Herausforderungen und drei Arten der Überwachung von KI-Agenten, nennt aber keine konkreten Ergebnisse.
- CAISI Issues Request for Information About Securing AI Agent Systems
- Building safeguards for Claude
Anthropic schildert mehrstufige Schutzmaßnahmen für Claude, liefert im Bericht jedoch keine messbaren oder unabhängigen Belege für deren Gesamtwirksamkeit.
- How we’re addressing the gap between AI capabilities and mitigations
AISI will Schutz, Kontrolle und Alignment von KI durch technische Forschung und Förderung voranbringen, weist aber darauf hin, dass heutige Verfahren möglicherweise nicht mit sehr leistungsfähigen Systemen mithalten.
- AI Safety Institute approach to evaluations
AISI berichtet über frühe Tests, die mögliche Risiken fortgeschrittener KI aufzeigen, betont aber, dass diese vorläufig sind und keine umfassende Sicherheitsbewertung darstellen.
- What should companies share about risks from frontier AI models?
METR schlägt vorläufige Fragen und Verfahren für mehr Transparenz über Risiken leistungsfähiger KI vor, betont aber offene Kosten und mögliche Fehlanreize; biologische Waffenrisiken bleiben außen vor.
- HP Inc. launches Frontier strategic partnership with OpenAI
HP kündigt an, OpenAI Frontier nach Pilotprojekten breiter einzusetzen; die im Bericht genannten Erfolge und Kapazitätsgewinne sind HPs eigene, nicht unabhängig belegte Angaben.
- Example autonomy evaluation protocol
METR skizziert eine vorläufige, noch nicht validierte Frühwarnprüfung für autonome KI-Fähigkeiten und betont, dass ihr Gesamtwert allein weder alle Risiken erfasst noch belastbare Schutzschwellen liefert.
- Taking a responsible path to AGI
DeepMind beschreibt Sicherheitsmaßnahmen für mögliche AGI, vor allem gegen Missbrauch und Fehlanpassung, lässt aber erkennen, dass wesentliche Risiken und offene Fragen bestehen.
- How Balyasny Asset Management built an AI research engine
Laut einer OpenAI-Fallstudie nutzen etwa 95 Prozent der Investmentteams von Balyasny eine geprüfte KI-Rechercheplattform, doch die berichteten Zeitgewinne sind im Text nicht unabhängig belegt.
- Gemini Robotics 1.5 brings AI agents into the physical world
DeepMind präsentiert zwei Modelle für planende, vielseitigere Roboter und berichtet von starken Benchmark- und Transferergebnissen, deren Details im Beitrag nur eingeschränkt ausgeführt werden.
- Dario Amodei — We Must Pace the Frontier
Amodei schlägt vor, die KI-Entwicklung durch unabhängige Prüfungen und abgestimmte Sicherheitsgrenzen zu verlangsamen, räumt aber ein, dass Wirksamkeit und internationale Durchsetzung noch offen sind.
- An Alien Mind
Pachocki warnt, dass KI-Fähigkeiten schneller wachsen könnten als ihre verlässliche Ausrichtung und Überwachung, und fordert deshalb Sicherheitsgrenzen sowie internationale Abstimmung.
- Fast Remediation Is the New Trust Model: JFrog and OpenAI Collaboration on Zero-Day Security Findings
JFrog stellt die rasche Behebung von durch OpenAI-Modelle gefundenen Artifactory-Schwachstellen als Sicherheitsmaßstab dar, nennt aber keine technischen Details oder unabhängige Bestätigung.
- Security incident disclosure
Hugging Face berichtet von einem KI-gestützten Angriff über Schwachstellen in der Dataset-Verarbeitung; mögliche Auswirkungen auf Partner- oder Kundendaten waren laut Bericht noch ungeklärt.
- Prompt Injection is an Information-Flow Problem
Der verfügbare Auszug behauptet, dass Prompt Injection durch Informationsfluss über Gedächtnis, Werkzeuge und Code fortwirkt und dass eine nachverfolgbare Herkunft keine Berechtigung ersetzt; die vollständige Begründung fehlt hinter einer Anmeldeaufforderung.
- What a Week of AI Security Incidents Means for Developers
Der bereitgestellte Bericht ist nur ein Auszug; laut Autor zeigen darin geschilderte Agentenvorfälle, dass Sicherheitsgrenzen gemeinsam geprüft und bisherige Annahmen zu KI-Agenten überdacht werden sollten.
- When AI builds itself
Anthropic zufolge beschleunigt KI bereits die KI-Entwicklung; vollständige Selbstverbesserung bleibt eine unsichere Möglichkeit mit großen Chancen, Risiken und erheblichen Mess- und Koordinationsproblemen.
- OpenAI named a leader in enterprise coding agents by Gartner
OpenAI berichtet, Gartner habe Codex als Leader für Enterprise AI Coding Agents eingestuft; die Quelle ist eine Unternehmensmitteilung und verlinkt den vollständigen Gartner-Bericht lediglich.
- A scorecard for the AI age
Der Bericht schlägt vor, den KI-Nutzen als erfolgreiche, verlässliche Arbeit pro Dollar zu messen, und stützt seine Effizienzversprechen vor allem auf von OpenAI angeführte Leistungswerte.
- Принципы ИИ: Рекомендации по этичному использованию искусственного интеллекта Министерством обороны
Ein unabhängiger US-Beratungsausschuss empfiehlt fünf Grundsätze und zwölf Umsetzungsschritte für verantwortliche Verteidigungs-KI; der Bericht beschreibt Vorschläge, keine beschlossene Politik.
- An Alien Mind
Der OpenAI-Wissenschaftler Jakub Pachocki warnt, dass KI schneller leistungsfähiger werden könnte, als ihre Ausrichtung und Überwachung Schritt halten, und fordert deshalb Sicherheitsgrenzen und internationale Koordination.
- Research acceleration: The view inside OpenAI
OpenAI meldet eine wachsende Rolle von KI-Agenten in der Forschung, betont aber die Vorläufigkeit der Messungen sowie die Notwendigkeit menschlicher Kontrolle und strenger Sicherheitsgrenzen.
- How we think about safety and alignment
OpenAI setzt laut Bericht auf schrittweise Erprobung, mehrschichtige Schutzmaßnahmen, menschliche Kontrolle und gemeinsame Verantwortung, räumt jedoch erhebliche Unsicherheit und offene Wirksamkeitsfragen ein.
- Practical challenges of control monitoring in frontier AI deployments
Der Abstract-Auszug vergleicht drei Kontrollverfahren für KI-Agenten und benennt Aufsicht, Latenz und Wiederherstellung als Herausforderungen; detaillierte Studienergebnisse fehlen.
- OpenAI accidentally hacked Hugging Face — should we have seen it coming?
Der Beitrag hält den Hugging-Face-Angriff für ein Warnsignal: Spitzenmodelle können laut Benchmarks bereits komplexe Cyberangriffe ausführen, und eine breitere Verfügbarkeit könnte das Risiko realer Angriffe erhöhen.
- Das Zeitfenster für KI-Richtlinien ist offen. Wir müssen handeln.
OpenAI drängt auf rasche KI-Sicherheitsregeln und erklärt, seine Schutzmaßnahmen mit den Fähigkeiten der Systeme weiterzuentwickeln.
- Auf dem Weg zu Sicherheitsnachweisen für das Training von Frontier-KI
OpenAI skizziert vorläufige Sicherheitsleitlinien für Frontier-KI-Training und betont, dass belastbare Sicherheitsnachweise ein langfristiges Ziel sind.
- The Quiet Revolution of AI Agents
Der vollständige Artikel stellt KI-Agenten, ihre Grenzen, Einsatzfelder und drei Bauplattformen vor; seine Erfolgszahlen werden im Text nicht methodisch erläutert.
- Meta’s New Local AI Agent Hallucinates 82% of the Time
Muse Glimmer ist laut Bericht technisch effizient und gut bei Werkzeugaufrufen, doch die angeführte Halluzinationsrate von 82 Prozent lässt den Autor an seiner Eignung als unbeaufsichtigter lokaler Agent zweifeln.
- Google’s Harness²: The Open-Source Framework That Helps AI Agents Improve Themselves
Der Bericht stellt Harness² als Ansatz vor, der Agenten durch erprobte Änderungen an ihrer Arbeitsumgebung verbessern soll; berichtete Benchmarkgewinne gelten jedoch nicht als Beleg für bessere oder korrekte Ergebnisse in jeder realen Aufgabe.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →