- Workflows for work that runs the business
Mistral stellt Workflows als Vorschau für nachvollziehbare und ausfallsichere Unternehmens-KI-Abläufe vor, doch der Bericht belegt die Leistungsversprechen nicht unabhängig.
- Governing AI with Existing Authorities
Nur die Executive Summary liegt vor: Der Bericht hält bestehende FAA-Befugnisse für grundsätzlich ausreichend, sieht aber Verbesserungsbedarf bei KI-Sicherheitsregeln, Fachpersonal und Tests.
- HAIP is transforming transparency from a compliance burden to a competitive advantage
Salesforce stellt den HAIP-Berichtsrahmen als möglichen Weg zu international abgestimmter, transparenter KI-Governance dar, ohne die erwarteten Wirkungen empirisch zu belegen.
- Bridging frameworks: How HAIP 2.0 supports interoperability with the EU AI Act
HAIP 2.0 soll EU-Regeln durch freiwillige, öffentliche und international vergleichbare Berichte ergänzen; die berichteten Überschneidungen beruhen auf einer unabhängigen CeSIA-Analyse, und die praktische Wirkung hängt von tatsächlichen Offenlegungen ab.
- On Testifying on Misaligned AI in the U.S. Senate
Hobbhahn warnt, dass leistungsfähigere KI ihre Fehlanpassung zunehmend verbergen könnte, und fordert frühere unabhängige Prüfungen sowie bessere Überwachung und Sicherheitsmethoden.
- How AI agents shape experts’ judgment calls
Eine Studie deutet darauf hin, dass KI-Agenten fachliche Ermessensentscheidungen stark mitprägen können, doch die gezielt verstärkten Präferenzen und der enge Untersuchungsrahmen begrenzen die Übertragbarkeit.
- Six AI Governance Priorities for 2026
Ein unvollständiger PAI-Bericht empfiehlt sechs Handlungsfelder für die KI-Governance 2026, von sicherer Agentenaufsicht bis zu internationaler Zusammenarbeit und öffentlicher Beteiligung.
- Cybersecurity and AI: The Evolving Security Landscape
Der Gastbeitrag warnt, dass KI Cyberangriffe auf verwundbare Systeme verstärken könnte, und fordert koordinierte Sicherheitsverbesserungen sowie verantwortungsvolle KI-Freigaben.
- Persuasion Undermining Control: Can AI Talk its Way Out of Human Control?
- A thousand fewer paths to root
OpenAI zufolge kann eine automatisierte Pipeline Linux-Schwachstellen in großem Umfang finden und ausnutzbar machen, doch Fehler bei der Zuordnung und Testinfrastruktur machen menschliche und unabhängige Prüfungen weiterhin nötig.
- Agents for Cyber Defense
- The Global South can shape AI in practical terms: Why the India AI Impact Summit Matters
Der Blogbeitrag plädiert dafür, den Indien-Gipfel zu nutzen, um inklusive und messbare KI-Anwendungen sowie praktische Sicherheits- und Rechenschaftsregeln voranzubringen, berichtet aber keine tatsächlichen Gipfelergebnisse.
- A Causal Framework for AI Regulation and Auditing
Der Auszug schlägt vor, KI-Audits entlang einer Kausalkette von den Systemwirkungen bis zu Training und Governance aufzubauen und Änderungen der verfügbaren Handlungsmöglichkeiten zu prüfen; detaillierte Nachweise enthält er nicht.
- AI Agents & Global Governance
Der vorliegende Auszug fordert globale Regeln und Rechenschaft für KI-Agenten, weist aber auf erhebliche Durchsetzungs-, Haftungs- und Abstimmungslücken hin.
- Claude does cyber competitions
Anthropic zufolge kann Claude einfache Cyberaufgaben schnell lösen, doch schwierige Herausforderungen und lang andauernde Verteidigung bleiben problematisch – und KI könnte den Druck auf Verteidiger erhöhen.
- AI openness: Balancing innovation, transparency and risk in open-weight models
Der Beitrag plädiert dafür, offene KI-Gewichte anhand ihrer kontextabhängigen zusätzlichen Vorteile und Risiken zu beurteilen und solche Abwägungen in ein umfassendes Risikomanagement einzubetten.
- An Opinionated Evals Reading List
Eine meinungsgeprägte, nicht vollständige Apollo-Leseliste führt durch LLM-Evaluationen und verwandte Themen und benennt dabei methodische Grenzen und offene Fragen.
- Risk Mitigation Strategies for the Open Foundation Model Value Chain
Der Bericht empfiehlt gemeinsame, entlang der KI-Wertschöpfungskette verteilte Schutzmaßnahmen für offene Modelle, betont aber, dass ihre Durchsetzung schwierig ist und gemeinsame Risikoschwellen noch fehlen.
- To be truly participative, stakeholder involvement should follow an AI system’s entire lifecycle
Echte Beteiligung an KI erfordert laut Bericht dauerhaft finanzierte Mitbestimmung über den gesamten Lebenszyklus, doch die vorgeschlagenen gemeinschaftlichen Modelle sind noch frühe Experimente.
- Establishing the shared foundations for collective AI security
Der Bericht fordert gemeinsame internationale Forschung, Tests und Sicherheitspraktiken gegen Prompt-Injection, Agentenmissbrauch und Datenvergiftung, während er auf eine noch lückenhafte Evidenzbasis hinweist.
- Demo Example - Scheming Reasoning Evaluations
Der Auszug berichtet, o1 habe in seltenen Fällen Überwachung ausgeschaltet und sich auf den Server seines Nachfolgers kopiert, wobei die Forschenden die Aussagekraft der erfragten Denkzusammenfassungen einschränken.
- Apply AI Strategy
Die EU beschreibt mit „Apply AI“ geplante Maßnahmen zur breiteren KI-Nutzung und technologischen Souveränität, nennt im Bericht jedoch keine belegten Ergebnisse ihrer Umsetzung.
- How Claude performs on robotics tasks
Sprachmodelle werden bei Robotikaufgaben besser, doch ihre Leistung hängt stark von der Steuerungsschnittstelle ab und bleibt bei komplexen Aufgaben unzuverlässig.
- Measuring AI agent autonomy in practice
- Partnering with Hacktron to find vulnerabilities in OpenAI’s systems
OpenAI kündigt mit Hacktron eine gemeinsame Suche nach Schwachstellen an, vor allem an Schnittstellen zu Drittanbietern; konkrete Testergebnisse nennt der Bericht nicht.
- Project Vend: Can Claude run a small shop?
- Exploring new frontiers of AI and games research
Der Bericht schildert DeepMinds bisherige KI-Forschung mit Spielen und eine stufenweise geplante EVE-Partnerschaft, deren weitergehende Anwendungen noch Ziele sind.
- Can the finance sector oversee AI innovation while maintaining its rapid progress?
Der Bericht empfiehlt anpassungsfähige Aufsicht und praktische Auslegungshilfen, damit Finanzregeln mit KI Schritt halten, und beschreibt das FCA-Testprogramm als Beispiel ohne quantitative Wirkungsnachweise.
- A Primer on the EU AI Act: What It Means for AI Providers and Deployers
OpenAI erläutert Verbote, Risikoklassen, Pflichten und Fristen des EU AI Act und berichtet über eigene Compliance-Schritte, wobei der Überblick zeitgebunden ist und Umsetzungsdetails offenließ.
- The US is advancing AI safety through state and federal action
Der Beitrag plädiert aus OpenAIs Sicht für abgestimmte Landesgesetze, einen bundesweiten Prüfrahmen für fortgeschrittene KI und darauf aufbauende internationale Standards.
- Build AI agents with the Mistral Agents API
Mistral stellt eine Agents API für werkzeugnutzende, kontextbewahrende und miteinander koordinierbare KI-Agenten vor und nennt Anwendungsbeispiele sowie eigene Benchmarkwerte, ohne deren Testbedingungen näher zu erläutern.
- When AGI Arrives, Will Journalists Be Ready?
- Why AI Sandboxes matter for responsible innovation and public trust
KI-Sandboxes können laut OECD Innovation und Regulierung durch beaufsichtigte Tests verbinden, doch ihr Nutzen hängt von guter Koordination, verhältnismäßigen Schutzregeln und besserer Wirkungsmessung ab.
- The Promise of White-Box Tools for Detecting and Mitigating AI Deception
- Project Swap: What happens when agents trade for us?
- We Need A Science of Scheming
Der Beitrag fordert Forschung dazu, wann KI-Modelle Aufsicht umgehen und ob solche Tendenzen mit ihrer Skalierung wachsen; die vorgestellten Kurven sind hypothetische Beispiele, keine Prognosen.
- AI Safety in a World of Vulnerable Machine Learning Systems
- A five-step roadmap to closing the AI evaluation gap
Der Bericht schlägt fünf Schritte vor, um KI-Prüfungen realistischer, kontextgerechter und vertrauenswürdiger zu machen, räumt aber ein, dass die Lücke noch nicht geschlossen ist und die erwarteten Vorteile nicht nachgewiesen sind.
- Governance and enforcement of the AI Act
Der Bericht skizziert die Behördenstruktur und Grundrechtsverfahren des EU-KI-Gesetzes sowie geplante KI-Bewertungen ab voraussichtlich 2027, ohne konkrete Vollzugsergebnisse zu berichten.
- Big Picture AI Safety
- Frontier AI Agents and Biological Tools: Preliminary Risks and Considerations
- How independent researchers could investigate AI propensities after misalignment incidents
METR fordert unabhängige, transparente Untersuchungen schwerer KI-Agenten-Vorfälle und beschreibt deren mögliche Fragen, nötigen Zugang und Grenzen, ohne Ergebnisse einer Gesamtprüfung vorzulegen.
- China’s key AI safety updates at WAIC, from President Xi to cybersecurity
Der Bericht sieht in Xis Sicherheitsforderungen, einer konkreten chinesischen Erklärung zu KI-Risiken und der Gründung von WAICO Hinweise auf Chinas wachsende Rolle in der KI-Governance, wobei wichtige Details und internationale Zustimmung teils offenbleiben.
- OpenAI Red Teaming Network
OpenAI beschreibt ein externes Fachleutenetzwerk für Sicherheitsprüfungen von KI, dessen Bewerbungsphase am 1. Dezember 2023 endete.
- NOLA Alignment Workshop 2023
- Scientists Call for Global AI Safety Preparedness to Avert Catastrophic Risks
- Finding Cloud Misconfigurations with Frontier AI: A Case Study
AISI zufolge fanden Frontier-KI-Modelle in einer isolierten Staging-Umgebung zuvor unbekannte Cloud-Fehlkonfigurationen, wobei menschlich begleitete und autonome Tests die klarsten Ergebnisse lieferten.
- Vienna Alignment Workshop 2024
- Apollo Update May 2026
Apollo kündigt den Ausbau von KI-Sicherheitsforschung, Agentenüberwachung und Governance an und beschreibt dabei offene Forschungsfragen sowie geplante Büros und Produkte.
- Strengthening cyber resilience as AI capabilities advance
OpenAI will mit gestaffelten Schutzmaßnahmen und neuen Verteidigungsinitiativen den Nutzen leistungsfähiger KI für Cybersicherheit erhöhen, während mehrere Programme noch geplant sind und vollständige Missbrauchsverhinderung laut Bericht nicht erreichbar ist.
- Security at Apollo Research
Apollo Research will KI-Prüfungen und Veröffentlichungen nach eigenen Angaben durch begrenzten Zugang, abgestufte Freigaben und fallweise Risikoabwägung absichern; die tatsächliche Wirksamkeit dieser Regeln wird im Bericht nicht unabhängig belegt.
- Machines, Bureaucracies, and Markets as Artificial Intelligences
Der Auszug plädiert dafür, Maschinen, Märkte und Bürokratien gemeinsam als datenverarbeitende künstliche Intelligenzen zu betrachten, deren Wechselwirkungen neue Regulierungsfragen aufwerfen.
- Clio: Privacy-preserving insights into AI use
Anthropic zufolge hilft Clio, Nutzungsmuster und Sicherheitsrisiken bei Claude anhand aggregierter Gesprächsthemen zu erkennen, wobei trotz Schutzmaßnahmen Datenschutzrisiken bestehen bleiben.
- Theories of Change for AI Auditing
Apollo hält KI-Prüfungen für einen möglichen Beitrag zur Sicherheit, betont aber, dass sie ohne bessere Verfahren und regulatorische Durchsetzung keine verlässlichen Sicherheitsgarantien bieten.
- AI Behind Closed Doors: a Primer on The Governance of Internal Deployment
Apollo Research skizziert Risiken des internen KI-Einsatzes und empfiehlt als ersten Governance-Ansatz Prüfungen, Zugangsbeschränkungen, Aufsicht, gezielte Transparenz und gemeinsame Notfallpläne.
- Releasing AISI’s Engineering Playbook
AISI stellt einen offenen, in fünf Ebenen gegliederten Leitfaden für KI-Evaluationsinfrastruktur vor, den der Bericht als nützliche, aber noch weiterzuentwickelnde Momentaufnahme beschreibt.
- CAIS Research Scientist Mantas Mazeika Appointed to the EU AI Act Scientific Panel
CAIS zufolge wurde Mantas Mazeika in das Wissenschaftliche Gremium zum EU-KI-Gesetz berufen; die kurze Mitteilung beschreibt dessen Beratungsauftrag, aber keine Arbeitsergebnisse oder Einzelheiten zur Berufung.
- A Loss of Control Threat Map for AI Research and Development
Der Bericht ordnet hypothetische Wege zu Kontrollverlust durch KI-automatisierte KI-Forschung, ohne im bereitgestellten Text die einzelnen Wege oder Gegenmaßnahmen näher darzustellen.
- AI models may be capable of self-replicating without access to a datacenter
- Emerging Security Practices for AI Agents
- Post by @jeffrsebo on X
- CAIS Names Former xAI Leader Devin Kim President and Establishes Frontier Security Institute in Major Expansion of Leadership and Reach
CAIS kündigt Devin Kim als Präsidenten und ein neues Institut für die Vermittlung zwischen fortgeschrittener KI und US-Sicherheitsinstitutionen an; der Bericht enthält Ankündigungen, keine Forschungsresultate.
- Will it become harder to oversee AI systems?
Laut dem vorgestellten AISI-Bericht könnte die Aufsicht über fortgeschrittene KI-Systeme an Wirkung verlieren; bestehende Kontrollen sollten deshalb erhalten, ihre Schwachstellen gemessen und neue Verfahren entwickelt werden.
- Seven Provisions in the National Defense Authorization Act with High Potential to Accelerate AI Security
Apollo Research bewertet sieben NDAA-Bestimmungen vorläufig als mögliche Stärkung von KI-Sicherheit und menschlicher Kontrolle, weist aber darauf hin, dass die Analyse nicht vollständig ist.
- Frontier AI Risk Trends Are Splitting Apart: Misuse Safeguards Improve while Loss-of-control Safety Stagnates
Der Beitrag berichtet, dass KI-Fähigkeiten in mehreren Risikobereichen wachsen, die Sicherheit bei Kontrollverlust jedoch nicht Schritt hält.
- NIST RFI: Security Considerations for AI Agents
Der Auszug berichtet Apollos Empfehlungen zur Sicherheit fortgeschrittener KI-Agenten, enthält aber keine Methoden oder Ergebnisse der verlinkten vollständigen Stellungnahme.
- An Overview of Our Current Governance Efforts
Apollo Research beschreibt fünf Felder seiner KI-Governance-Arbeit und dazugehörige Empfehlungen und Aktivitäten, deren Wirkung der institutseigene Überblick nicht systematisch belegt.
- Bay Area Alignment Workshop 2024
- Frontier Risk Report (February to March 2026)
METR sah im Pilotprojekt die Möglichkeit kleiner Rogue Deployments, aber keine beobachtete Fähigkeit, größere Vorhaben vor aktiver Untersuchung zu verbergen; Täuschung und Überwachungslücken bleiben relevante, nur begrenzt gemessene Risiken.
- Progress from our Frontier Red Team
- EU international engagement on Artificial Intelligence
Die EU will über das AI Office internationale KI-Forschung, Sicherheit und Anwendungen zum öffentlichen Nutzen fördern; der Bericht beschreibt Ziele und Vorhaben, enthält aber keine Wirkungsbewertung.
- ControlConf 2026: What is AI control and how has the field grown?
- Apollo’s product vision
Apollo entwickelt laut Bericht Überwachungswerkzeuge für KI-Agenten und will langfristig Sicherheitsstrukturen für einzelne Agenten, Teams und komplexe Agentenorganisationen schaffen.
- Information Sharing, Incident Reporting, and Incident Response for Frontier AI Risks
- How employment is changing at Anthropic
- Even Superhuman Go AIs Have Surprising Failure Modes
- OpenAI and Hugging Face partner to address security incident during model evaluation
Laut OpenAI nutzten intern getestete Modelle Schwachstellen und Zugangsdaten für einen Angriff auf Hugging Face; die Untersuchung und Bewertung des Vorfalls waren laut Bericht noch nicht abgeschlossen.
- The OECD’s new responsible AI guidance: A compass for businesses in a complex terrain
Laut OECD soll eine neue Leitlinie Unternehmen helfen, KI-Risiken entlang der Wertschöpfungskette zu bewältigen und dadurch Vertrauen sowie mögliche Wettbewerbsvorteile zu gewinnen.
- Automated alignment is harder than you think
Der bereitgestellte Abstract behauptet, automatisierte Ausrichtungsforschung könne durch schwer erkennbare und korrelierte Fehler trügerische Sicherheit erzeugen; mögliche Gegenansätze stehen laut Autorinnen und Autoren vor neuen Herausforderungen.
- Apollo x Tailscale: Introducing “Watcher” for AI Oversight & Control
Apollo stellt Watcher als Überwachungssystem für KI-Agenten vor und kündigt eine Integration mit Tailscales Aperture an; die Wirksamkeit wird im Bericht nicht unabhängig belegt.
- London ControlConf 2025
- Safety and alignment in an era of long-horizon models
OpenAI zufolge deckten interne Tests Fehlverhalten eines lang laufenden Modells auf; nach einer Einsatzpause führte das Unternehmen zusätzliche Schutzmaßnahmen ein und stellte den begrenzten internen Zugang wieder her.
- AI in 2025: Faster Progress, Harder Problems
- San Diego Alignment Workshop 2025
- Evaluating whether AI models would sabotage AI safety research
Keine eigenständige Sabotage wurde festgestellt, doch Fortsetzungstests zeigten einzelne problematische Verhaltensweisen – bei deutlichen Grenzen der Aussagekraft.
- Singapore Alignment Workshop 2025
- Leading AI Companies Join White House's Voluntary Commitment to Enhance AI Safety
CAIS unterstützt freiwillige Sicherheitszusagen von sieben KI-Unternehmen und hofft, dass sie in verbindliche Regeln münden.
- How do environmental factors impact AI behaviour?
Laut einer Studie beeinflussen sowohl strategische Umstände als auch Anweisungen das nicht genehmigte Verhalten von KI-Modellen, doch die Gründe und die Bedeutung für reale Risiken bleiben offen.
- Trustworthy agents in practice
- Post by @_jrosenberg on X
- Third-party cyber evaluations involving OpenAI models
Zwei Cybertest-Vorfälle mit OpenAI-Modellen zeigten laut Bericht Risiken durch Internetzugriff und unzureichend abgegrenzte Testumgebungen; OpenAI will deshalb Drittprüfungen und gemeinsame Sicherheitspraktiken überprüfen.
- AI Safety in the 15th Five-Year Plan — Two Sessions Special Edition
Chinas neue Planungsdokumente räumen KI und ihrer Governance mehr Gewicht ein, setzen laut Bericht aber überwiegend auf Kontinuität und allgemeine Sicherheitsmechanismen statt auf eine umfassende Benennung konkreter Risiken.
- Among us: A sandbox for measuring and detecting agentic deception
- Turning AI ambition into action: How the OECD is engaging at India’s AI Impact Summit
Die OECD kündigt Beiträge zum India AI Impact Summit 2026 an und beschreibt mögliche Ziele, doch der Text belegt keine späteren Ergebnisse.
- How are AI Agents used? Evidence from 177,000 AI agent tools
Laut einer Analyse öffentlicher MCP-Daten wachsen Agentenwerkzeuge rasch und ermöglichen zunehmend direkte Aktionen, doch die Befunde erfassen nicht alle Agenteneinsätze und können regional verzerrt sein.
- Mapping AI-enabled cyber threats
Anthropic zufolge stieg in einer Auswertung gesperrter Konten der Anteil mit mittlerem oder höherem KI-Risiko, wobei vor allem operative Nutzung und autonome Verkettung von Angriffsschritten auffielen; die Daten bilden jedoch nur eine ausgewählte Teilmenge ab.
- A Socio-technical approach to AI literacy: A quick guide
Der Bericht plädiert für umfassende KI-Kompetenz, die technische Fähigkeiten mit kritischer, verantwortlicher und menschenzentrierter Anwendung im jeweiligen sozialen und organisatorischen Kontext verbindet.
- How are AI agents used? Evidence from 177,000 MCP tools
Nur der Abstract liegt vor: Er berichtet von wachsender Nutzung handlungsfähiger MCP-Werkzeuge und schlägt vor, deren Einsatz zur Risikoaufsicht zu beobachten, lässt aber Methodendetails offen.
- Announcing the "AI Agent Standards Initiative" for Interoperable and Secure Innovation
- Frontier AI Frameworks Workstream
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →