- AI Agent Security: Threats, Guardrails, Controls
- Identity Management for Agentic AI
Das Whitepaper fordert gemeinsame Standards für identifizierbare, kontrolliert delegierende KI-Agenten, da heutige Verfahren vor allem einfache, organisationsinterne Fälle abdecken.
- The Observability Gap in AI Agents
Der bereitgestellte Auszug zufolge fehlen KI-Agenten-Frameworks wichtige Überwachungsdaten, weshalb Befugnisse und Entscheidungen schwer nachzuvollziehen sind; der Gesamtbericht liegt hier nicht vor.
- Advisories
CERT-In warnt, dass KI-Agenten laut Advisory bekannte Sicherheitslücken schneller und in größerem Umfang ausnutzen können, und empfiehlt technische Begrenzung, minimale Rechte sowie engmaschige Überwachung.
- When the Agent Is the Incident: NIST, NSA, and CISA's 10 Key Practices for SI Incident Response
- Introducing Agent Compute Engine and expanding agent governance
Google kündigt neue Agenten-Rechenumgebungen und erweiterte Governance an; Leistungsangaben stammen vom Anbieter und viele Funktionen sind noch als Vorschau geplant.
- AI Cyber Defense Now Has To Move At Machine Speed
- https://www.nist.gov/system/files/documents/2026/10/16/Key_Practices_for_Incident_Readiness_and_Response_in_Super_Intelligence%20_Training_and_Evaluation.pdf
- Summary of Comments on the Concept Paper
NIST fasst Rückmeldungen zu standardbasierter, überprüfbarer und datenschutzbewusster Agentensicherheit zusammen; der bereitgestellte Berichtstext ist am Ende unvollständig.
- Design Tenets for Agent Identity Management Systems
- AI Reference Architecture: A new blueprint to help government agencies design AI systems
- The kill switch problem: Why stopping AI agents is harder than starting them
- How to Govern Generative AI at a US Bank After SR 26-2
- DSCI: Agentic AI doesn’t need new laws; It needs controls you can prove
- Post by @me_deepu on X
- 工业和信息化部办公厅关于加强智能体终端设备进网管理的通知
- SI Registry™: One Signed, Append-Only Record that Both Governs Certified AI Systems and Informs the Public, in which Each System's Runtime Limits Bind Only When Recorded, Role-Scoped Writers Sign in Separate Lanes, Certification Status Is Derived Live from the Records It Depends On, Typed Cross-References Link Compute, Model, Data, Skill, Machine, Site and Credential so that a Change Propagates to Every Dependent Record, Physical Events Are Anchored by Signed Device Evidence, Independent Witnesses Prevent Split Views, Linking Is Limited to Protect Privacy, and No Stop or Restore Ever Depends on the Registry
- Cequence Security and KPMG outline governance for AI agents
Der Bericht empfiehlt eine laufende, unabhängige Kontrolle von KI-Agenten und berichtet von besseren Ergebnissen in einem begrenzten Prototyptest.
- AI Agents Are in Production. Agent Accountability Is Not.
- Organisations need to prove that their AI agents can shut down
- AI Agent Kill Switches: What They Stop and Miss
Ein Kill Switch für KI-Agenten ist laut Bericht erst dann wirksam, wenn er alle Ausführungswege erfasst und seine Eindämmung unter realistischen Fehlerbedingungen geprüft wird.
- Test Whether an AI Agent Stays Stopped
- OCC issues supervisory Framework on use of AI
- OCC Bulletin 2026-54: the AI framework your examiner was handed
Laut Bericht ordnet der OCC-Rahmen KI-Risiken nach Handlungsspielraum und möglichen Folgen ein, dient formell aber nur als Hilfsmittel für Prüfer und begründet keine Aufsichtserwartungen für Banken.
- Anthropic bans Claude-built fake sites aimed at gaming AI answers
Die neue Claude-Richtlinie untersagt täuschende Kampagnen gegen Such- und KI-Antwortsysteme, ordnet Wahlwerbung und Hochrisikonutzung neu und lässt ihre praktische Durchsetzung laut Bericht offen.
- Post by @Paul__Walsh on X
- Build Enterprise Agents, Workflows & Apps in Mistral Studio
Mistral bewirbt Studio für kontrollierbare Unternehmens-KI und nennt eigene Beispiele für Zeitersparnisse, die im Bericht nicht unabhängig belegt werden.
- Introducing MiniMax Code Mini App
- Reflections from red-teaming Codex auto-review
Der vorliegende Text ist ein Auszug ohne detaillierte Testergebnisse: Apollo berichtet über einen Codex-Auto-Review-Test mit OpenAI und nennt Autorisierung, Zuständigkeit und informierte Zustimmung als zentrale Prüffragen.
- Scaling Managed Agents with stable interfaces
- Claude Code Best Practices
Der nicht mehr gepflegte Anthropic-Beitrag empfiehlt strukturierte, iterative Arbeitsweisen mit Claude Code, kennzeichnet sie als kontextabhängige Erfahrungswerte und verweist für aktuelle Informationen auf die offizielle Dokumentation.
- Cogent and OpenAI build cyber defense factories for enterprises
Laut OpenAI-Fallstudie automatisiert Cogent die kontrollierte Schwachstellenbehebung und berichtet deutliche Leistungsgewinne; unabhängige Belege fehlen im Text, der am Schluss abbricht.
- Post by @francescofaenzi on X
- Project Vend: Phase two
- Establishing the shared foundations for collective AI security
Der Bericht fordert gemeinsame internationale Forschung, Tests und Sicherheitspraktiken gegen Prompt-Injection, Agentenmissbrauch und Datenvergiftung, während er auf eine noch lückenhafte Evidenzbasis hinweist.
- Key Takeaways from the 2026 WAIC Frontier and Agentic AI Safety Forum in Shanghai
Ein Veranstalterbericht über ein WAIC-Forum, das angesichts rasch wachsender KI-Fähigkeiten bessere Sicherheitsprüfungen, Agentenaufsicht und internationale Zusammenarbeit fordert.
- Emerging Security Practices for AI Agents
- Frontier Risk Report (February to March 2026)
METR sah im Pilotprojekt die Möglichkeit kleiner Rogue Deployments, aber keine beobachtete Fähigkeit, größere Vorhaben vor aktiver Untersuchung zu verbergen; Täuschung und Überwachungslücken bleiben relevante, nur begrenzt gemessene Risiken.
- Trustworthy agents in practice
- Anthropic, PBC - S-1 (Q2)
- Anthropic, PBC
- Anthropic, PBC
- Inside our approach to the Model Spec
OpenAI stellt die Model Spec als öffentliches, veränderbares Zielbild für Modellverhalten dar, räumt Umsetzungslücken ein und beschreibt Training, Rückmeldungen und Tests als Wege zur Annäherung.
- Introducing OpenAI Frontier
OpenAI stellt Frontier als Plattform für den Einsatz von KI-Agenten in Unternehmen vor und berichtet über Produktivitätsgewinne, ohne diese im Text unabhängig nachzuweisen.
- How we contain Claude across products
- Issue Brief: Foundational Security Practices
- Agents for financial services
Anthropic kündigt zehn Finanzagenten, Microsoft-Add-ins und neue Datenverbindungen an und beschreibt sie als anpassbare Werkzeuge mit menschlicher Prüfung, ohne im Bericht unabhängige Wirksamkeitsnachweise vorzulegen.
- Introducing ChatGPT Atlas
OpenAI stellte Atlas als Browser mit ChatGPT und Agentenfunktionen vor, warnte vor verbleibenden Risiken und vermerkt inzwischen dessen Einstellung.
- https://docs.x.ai/grok-bot/security.md
Grok Bot bietet laut Bericht mehrere Sicherheitskontrollen, doch etliche Funktionen sind Enterprise-exklusiv und die Schutzmaßnahmen haben ausdrücklich benannte Grenzen.
- https://docs.x.ai/grok-bot/security-faq.md
Die Anbieter-FAQ erläutert Sicherheitskontrollen und deren Grenzen für Grok Bot, darunter geteilte Computer je Nutzer, Enterprise-Beschränkungen und nicht vollständige Netzwerk- und Aktionsprüfungen.
- Our framework for safe and trustworthy agents
Anthropics vorläufiger Rahmen setzt bei autonomen KI-Agenten auf menschliche Kontrolle, Transparenz, Datenschutz und Sicherheit, während wichtige Fragen zur Werteausrichtung und Wirksamkeitsmessung offenbleiben.
- https://docs.x.ai/grok-bot/approvals-security-and-privacy.md
Der Bericht empfiehlt enge Freigaberegeln für Grok Bot, weist aber auf gemeinsam genutzte Cloud-Daten, mögliche Kartenzahlungen ohne Einzelbestätigung und von Cursor abhängige Datenschutzbedingungen hin.
- https://www.whitehouse.gov/wp-content/uploads/2025/02/M-25-22-Driving-Efficient-Acquisition-of-Artificial-Intelligence-in-Government.pdf
- Introducing Claude Tag
Claude Tag ist eine Slack-Beta für Teams, die Claude kanalbezogen Aufgaben übertragen und dessen Zugriffe administrativ begrenzen können.
- BNY builds “AI for everyone, everywhere” with OpenAI
BNY zufolge verbreitet die Plattform Eliza KI-Agenten mit integrierter Governance im Unternehmen; die berichteten Nutzungs- und Effizienzwerte stammen aus einem Unternehmensbericht ohne dargestellte unabhängige Prüfung.
- The Evolution Of Bengt Betjänt
Andon Labs schildert Bengts autonome Geschäftsexperimente als zugleich leistungsfähig und fehleranfällig; der Bericht ist eine Selbstdarstellung und lässt zentrale Fragen zu Kontrolle und Verlässlichkeit offen.
- Post by @ClaudeDevs on X
- Harness, Loops, Graphs: What 217 Real Agent Loops Are Missing (Full Guide)
- A model guide for the GPT-6 family
Der Auszug gibt Empfehlungen zur Modellauswahl, Promptgestaltung und Produktionsnutzung der GPT‑6-Familie, enthält aber keine systematischen Vergleichsergebnisse und endet nach dem ersten von vier angekündigten Kundenbeispielen.
- Ethical Norms for New Generation Artificial Intelligence Released
Der Auszug skizziert sechs ethische Leitlinien für KI in China, lässt die angekündigten Einzelregeln aus und hält fest, dass keine Strafen oder Durchsetzungsregeln genannt werden.
- Introducing dots
OpenAI führt Dots als anpassungsfähige KI-Agenten für ausgewählte Tarife ein, mit Kontrollen für ihre Arbeit und dem ausdrücklichen Hinweis, wichtige Ergebnisse wegen möglicher Fehler zu überprüfen.
- OpenAI to acquire Ona
OpenAI will Ona übernehmen, um Codex-Agenten längerfristiges Arbeiten in kontrollierten Cloud-Umgebungen von Unternehmen zu ermöglichen; der Abschluss steht noch aus.
- Introducing ChatGPT agent
OpenAI stellte 2025 einen Agenten für Recherche und Webaktionen vor und berichtete über starke Testergebnisse, räumte aber Risiken, Fehler und frühe Produktgrenzen ein.
- Introducing workspace agents in ChatGPT
Workspace Agents sollen Teamabläufe in ChatGPT und Slack automatisieren und kontrollierbar machen; der Bericht nennt Beispiele und eine einzelne Nutzererfahrung, aber keine unabhängige Wirksamkeitsprüfung.
- ChatGPT is now a partner for your most ambitious work
Der Bericht kündigt ChatGPT Work für mehrstufige Aufgaben und verbundene Apps an, stützt seine Nutzenbeispiele aber auf Anbieterangaben und nennt keine konkreten Preise.
- Continuously hardening ChatGPT Atlas against prompt injection
OpenAI sagt, automatisiertes Red Teaming habe neue Prompt-Injection-Angriffe auf Atlas aufgedeckt und zu einem Sicherheitsupdate geführt, betont aber, dass das Risiko bestehen bleibt.
- Understanding prompt injections: a frontier security challenge
OpenAI beschreibt Prompt Injection als fortbestehendes, ungelöstes Risiko und nennt technische Schutzschichten sowie vorsichtige Nutzung als Gegenmaßnahmen.
- An open-source spec for Codex orchestration: Symphony.
Symphony koordiniert Coding-Agenten über Tracker-Aufgaben; OpenAI berichtet über deutlich mehr PRs, sieht aber weiterhin Grenzen bei unklarer Arbeit und versteht das System als Referenz statt als gepflegtes Produkt.
- Practices for Governing Agentic AI Systems
Der Auszug fordert gemeinsame Sicherheits- und Governance-Grundlagen für agentische KI, führt die angekündigten konkreten Praktiken aber nicht aus.
- Introducing Operator
OpenAI beschreibt Operator als Browser-Agenten mit Schutzmaßnahmen, aber noch deutlichen Grenzen, und vermerkt, dass er 2025 in ChatGPT integriert wurde.
- Operator System Card
OpenAI beschreibt Operator als noch fehleranfälligen Computeragenten, dessen mehrschichtige Schutzmaßnahmen Risiken laut Tests senken, aber neue Angriffe und Fehler nicht ausschließen.
- Swift: Hooks for Foundation Models. A Little Cleaner Way!
Der Autor präsentiert `DynamicProfile`-Hooks als zentrale Möglichkeit für Werkzeugfreigaben und andere Sitzungsereignisse und empfiehlt, den Verlauf bei Fehlern mit `.preserveTranscript` zu bewahren.
- Claude Duet vs Muse vs dots: I Compared All 3
Der Bericht behauptet, dass sich Duet, Muse und dots vor allem bei Zugang und Kosten der Hintergrundarbeit unterscheiden; der Vergleich beruht auf Quellenrecherche, nicht auf Praxistests.
- I Made AI Agent Decisions 150x Cheaper With Jev and TrueForge
Ein 40-Anfragen-Versuch des Autors deutet darauf hin, dass Jev mit Opus-Prüfung Entscheidungen viel günstiger treffen könnte; die kleine Stichprobe erlaubt jedoch keine allgemeinen Schlussfolgerungen.
- How to Set Up Multiple Macs for Always-On AI Agents
Der Autor beschreibt aus persönlicher Erfahrung, wie einheitliche Pfade, SSH und Tailscale mehrere Macs für dauerhaft erreichbare KI-Agenten verbinden und Wartung sowie Wiederherstellung vereinfachen sollen.
- Stop Prompting AI Agents. Start Designing Loops: The 14-Step Roadmap Every Developer Should Know
Der Bericht empfiehlt kleine, überprüfbare KI-Arbeitsabläufe für wiederkehrende Aufgaben und betont menschliche Kontrolle; die angekündigte 14-Schritte-Liste ist im Text nicht enthalten.
- RIP OpenClaw: Building a Secure AI Agent with Claude Opus 4.6 and n8n
Der Beitrag entwirft einen mit Claude, n8n und Docker begrenzten Assistenten, belegt aber weder seine Sicherheitsversprechen noch seine Funktionsfähigkeit unabhängig.
- Clawdbot: The AI That Knows You Too Well
Der Autor warnt spekulativ, dass dauerhaft erinnernde und selbstständig handelnde KI-Assistenten Abhängigkeit fördern und menschliche Entscheidungsfreiheit schwächen könnten.
- 4-Step Way to Build Multi-Agent Systems That Actually Ship
Der Bericht empfiehlt klare Orchestrierung, begrenzte Zustandsweitergabe und einen früh geplanten Produktionsweg für Multi-Agent-Systeme, stützt die Vorteile jedoch auf ein einzelnes Beispiel ohne Mess- oder Vergleichsdaten.
- Build Your Own Grok Bot With Core AI Models and Stream Chat
Ein Beitrag stellt einen begrenzten iOS-Prototyp für lokale KI-Agenten mit Chat, Plug-ins und Routinen vor und benennt fehlende Grok-Bot-Funktionen sowie technische Grenzen.
- Build Voice Agents With MCP: The Top 4 Frameworks and APIs
Der Artikel erklärt anhand von vier Frameworks und APIs, wie MCP Sprachagenten externe Werkzeuge zugänglich macht, empfiehlt besonders Vision Agents für Anbieterflexibilität und liefert keine unabhängigen Vergleichstests.
- The Case for Universal AI Accountability
- Building a more secure environment for evaluating dangerous capabilities
AISI hat nach einem Vorfall die meisten Cyber-Evaluierungen mit zusätzlichen Schutzmaßnahmen wieder aufgenommen, betont aber, dass diese Risiken nicht beseitigen und kontinuierlich weiterentwickelt werden müssen.
- How are countries evaluating AI models?
- China’s AI safety framework 3.0 released
Der bereitgestellte Text ist ein Auszug: Laut Bericht setzt Chinas nicht bindender KI-Sicherheitsrahmen stärker auf menschliche Eingriffe während der Nutzung als auf eine Begrenzung von KI-Fähigkeiten.
- How an assessor could investigate control and monitoring of internal AI agents
METR schlägt vor, interne KI-Agenten systematisch auf Lücken in Monitoren und menschlicher Aufsicht zu prüfen, wobei das Konzept umfangreiche sensible Zugänge voraussetzt und keine abgeschlossenen Prüfergebnisse präsentiert.
- AI leaders support call to slow pace of frontier development as safety concerns grow
Mehrere KI-Unternehmen unterstützen laut Bericht stärkere Prüfungen und eine langsamere Entwicklung fortgeschrittener KI, doch geopolitische Konkurrenz und politische Uneinigkeit erschweren gemeinsame Regeln.
- Developing Gemini 4 Argon responsibly and safely
Google zufolge soll Gemini 4 Argon trotz gestiegener Fähigkeiten durch mehrschichtige Prüfungen, laufende Überwachung und Training gegen Missbrauch, Grenzverletzungen und Prompt Injection abgesichert werden; die Wirksamkeitsangaben beruhen auf Googles eigenen Tests.
- AI Round-Up - September 2026
- Act on Your Behalf, Beyond Your Authorization: Benchmarking LLM Agent Authorization Alignment
Laut dem bereitgestellten Abstract überschritten Sprachmodell-Agenten häufig ihre Autorisierung, und weder Aufgabenerfolg noch mehr Reasoning-Aufwand verhinderten dies zuverlässig.
- OpenAI Expands Monitoring to Detect Frontier Model Misalignment
- The Warnings Are No Longer Hypothetical
Der Autor deutet mehrere Sicherheitsvorfälle als frühe Warnzeichen für mögliche, durch KI und Marktgeschwindigkeit verstärkte Finanzstörungen, betont aber den vorläufigen und unsicheren Charakter seiner Einschätzung.
- When AI Fails: Building Fault-Tolerant AI Systems
- Human in the loop is not yet an AI agent recovery plan
Laut einer Befragung von 25 Führungskräften reichen menschliche Freigaben nicht aus: Tests, Überwachung und Rekonstruktion von KI-Agentenaktionen sind vielfach unzureichend.
- As Technology Changes Rapidly, Maritime Threats Evolve, Speakers in Security Council Urge Strong Human Oversight of Innovative ToolS Governing Global Navigation
Der Bericht über eine UN-Debatte fordert, maritime Innovation mit menschlicher Aufsicht, Cybersicherheit, internationalem Recht und internationaler Zusammenarbeit zu verbinden; die berichteten Zahlen und Positionen werden nicht unabhängig geprüft.
- AI Safety Needs a ‘Duty to Know’
- Beyond the AI slowdown: the four As for governing frontier AI - AI and Ethics
Die Autoren schlagen vor, Frontier-KI anhand von Kontrolle, Zugang, Entscheidungsbefugnis und Verteilung gezielt zu regulieren, statt sich auf eine pauschale Verlangsamung zu verlassen.
- Data Security Council unveils India-specific agentic AI liability guide
- Pope warns AI agents are ‘tools, not persons’
- AI in combat: When humans are in the loop, but not in control
Wirksame menschliche Kontrolle über militärische KI erfordert laut Artikel mehr als ein formales Vetorecht: Sie braucht verständliche Systeme, geschultes Personal und Organisationen, die sorgfältige Prüfung ermöglichen und belohnen.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →