Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

● Fragen-Atlas · Quellen aus dem Archiv

SF-A2-T01

Welche Tests zeigen, dass ein Agent sicher angehalten, zurückgesetzt oder abgeschottet werden kann, wenn er sich unerwartet verhält, auch wenn er das Abschalten vorhersieht oder sich wehrt?

343 Berichte ab Stufe 3 bei Luna (weitere Modelle folgen), stärkste zuerst.

Zum Inhalt ↓
← Alle Quellen zu SF-A2
  1. Initial policy considerations for generative artificial intelligence oecd · 2023 · Q005994 · Hintergrund, keine Belege

    Der OECD-Beitrag sieht in generativer KI Chancen und erhebliche, teils noch ungewisse Risiken und fordert frühzeitige politische Antworten.

  2. Priorities and principles for effective third party assessments openai · 2026 · Q006220 · Hintergrund, keine Belege

    OpenAI skizziert vier Prioritäten und Grundsätze für unabhängige KI-Sicherheitsprüfungen, deren Aussagekraft durch vereinbarten Umfang, Zugang und Vertraulichkeit begrenzt ist.

  3. Ethical Norms for New Generation Artificial Intelligence Released cset · 2021 · Q006228 · Hintergrund, keine Belege

    Der Auszug skizziert sechs ethische Leitlinien für KI in China, lässt die angekündigten Einzelregeln aus und hält fest, dass keine Strafen oder Durchsetzungsregeln genannt werden.

  4. Introducing dots openai · 2026 · Q006230 · Hintergrund, keine Belege

    OpenAI führt Dots als anpassungsfähige KI-Agenten für ausgewählte Tarife ein, mit Kontrollen für ihre Arbeit und dem ausdrücklichen Hinweis, wichtige Ergebnisse wegen möglicher Fehler zu überprüfen.

  5. Artificial General Intelligence: can we avoid the ultimate existential threat? oecd · 2023 · Q006243 · Hintergrund, keine Belege

    Der Bericht warnt, dass eine AGI große Chancen, aber auch schwer kontrollierbare existenzielle Risiken bergen könnte, und fordert frühe Sicherheitsarbeit sowie internationale Vorsorge, obwohl wirksame Lösungen bislang offen sind.

  6. Introducing ChatGPT agent openai · 2025 · Q006682 · Hintergrund, keine Belege

    OpenAI stellte 2025 einen Agenten für Recherche und Webaktionen vor und berichtete über starke Testergebnisse, räumte aber Risiken, Fehler und frühe Produktgrenzen ein.

  7. Computer-Using Agent openai · 2025 · Q007249 · Hintergrund, keine Belege

    OpenAI beschreibt CUA als vielseitigen, aber noch unzuverlässigen Computer-Agenten und berichtet über Benchmark-Ergebnisse sowie mehrschichtige Schutzmaßnahmen.

  8. An Alien Mind openai · 2026 · Q007478 · Hintergrund, keine Belege

    Der OpenAI-Wissenschaftler Jakub Pachocki warnt, dass KI schneller leistungsfähiger werden könnte, als ihre Ausrichtung und Überwachung Schritt halten, und fordert deshalb Sicherheitsgrenzen und internationale Koordination.

  9. Research acceleration: The view inside OpenAI openai · 2026 · Q007497 · Hintergrund, keine Belege

    OpenAI meldet eine wachsende Rolle von KI-Agenten in der Forschung, betont aber die Vorläufigkeit der Messungen sowie die Notwendigkeit menschlicher Kontrolle und strenger Sicherheitsgrenzen.

  10. Path to Astra: critical capabilities and frontier safeguards openai · 2026 · Q007551 · Hintergrund, keine Belege

    OpenAI erklärt, Astra erreiche kritische Cybersicherheitsfähigkeiten und solle deshalb mit verstärkten Schutzmaßnahmen und zunächst begrenztem Zugang eingeführt werden, wobei eigene Tests, mögliche Fehlalarme und verbleibende Unsicherheiten die Aussage einrahmen.

  11. Governance of superintelligence openai · 2023 · Q007570 · Hintergrund, keine Belege

    OpenAI fordert für mögliche Superintelligenz internationale Koordination, Aufsicht, Sicherheitsforschung und öffentliche Mitsprache, legt aber weder ein fertiges Regelwerk noch Belege für seine Zukunftsprognosen vor.

  12. AI progress and recommendations openai · 2025 · Q007608 · Hintergrund, keine Belege

    OpenAI erwartet rasante KI-Fortschritte und empfiehlt, ihre Chancen durch breite Zugänglichkeit zu nutzen und Risiken mit Aufsicht, gemeinsamer Sicherheitsarbeit und robuster Kontrolle zu begrenzen.

  13. Moving AI governance forward openai · 2023 · Q007614 · Hintergrund, keine Belege

    Der Bericht beschreibt freiwillige, zeitlich an vergleichbare Regulierung gebundene Zusagen führender KI-Unternehmen für leistungsfähigere generative Modelle, darunter Sicherheitstests, Schutzmaßnahmen, Kennzeichnung und Transparenz.

  14. On the Navier–Stokes Millennium Prize Problem openai · 2026 · Q007631 · Hintergrund, keine Belege

    OpenAI zufolge hat ein internes KI-System das Navier–Stokes-Problem gelöst; der Bericht beschreibt den behaupteten Beweisweg, enthält aber keine unabhängige Bestätigung.

  15. Designing AI agents to resist prompt injection openai · 2026 · Q007733 · Hintergrund, keine Belege

    Laut Bericht sollen KI-Agenten gegen Prompt Injection nicht nur durch Erkennung, sondern vor allem durch Begrenzung riskanter Handlungen geschützt werden.

  16. Safety Gym openai · 2019 · Q007821 · Hintergrund, keine Belege

    Safety Gym soll sichere Exploration messbar machen; vorläufige Vergleiche deuten laut Autor:innen auf Vorteile von Lagrange-Verfahren gegenüber CPO hin, doch konkrete Kennzahlen fehlen im vorliegenden Text.

  17. New tools for building agents openai · 2025 · Q008067 · Hintergrund, keine Belege

    OpenAI kündigt eine neue API und ein SDK für KI-Agenten an; die Computernutzung bleibt laut Bericht fehleranfällig, und der genannte Abschaltzeitpunkt der Assistants API ist ein Ziel für Mitte 2026.

  18. Introducing Intelligence Age openai · 2026 · Q008126 · Hintergrund, keine Belege

    Der Beitrag skizziert ein noch offenes Forschungsprogramm dazu, wie KI-bedingte Machtkonzentration begrenzt und individuelle Freiheit geschützt werden kann.

  19. Security on the path to AGI openai · 2025 · Q008196 · Hintergrund, keine Belege

    OpenAI berichtet über ausgebaute Sicherheitsprogramme und Schutzmaßnahmen, belegt deren Wirksamkeit im Text aber nur eingeschränkt und überwiegend mit eigenen Angaben.

  20. Built to benefit everyone: our plan openai · 2026 · Q008394 · Hintergrund, keine Belege

    OpenAI will KI sicher und breit nutzbar machen und nennt dafür drei Ziele, deren Erreichung der Bericht als Absicht und Prognose beschreibt.

  21. Planning for AGI and beyond openai · 2023 · Q008567 · Hintergrund, keine Belege

    OpenAI beschreibt einen vorsichtigen und gesellschaftlich abgestimmten Weg zu AGI, räumt erhebliche Unsicherheit ein und kennzeichnet die Organisationsangaben des Beitrags als veraltet.

  22. Practices for Governing Agentic AI Systems openai · 2023 · Q008578 · Hintergrund, keine Belege

    Der Auszug fordert gemeinsame Sicherheits- und Governance-Grundlagen für agentische KI, führt die angekündigten konkreten Praktiken aber nicht aus.

  23. Our updated Preparedness Framework openai · 2025 · Q008629 · Hintergrund, keine Belege

    OpenAI will riskante KI-Fähigkeiten systematischer prüfen und Schutzmaßnahmen je nach Risikostufe festlegen; der Bericht stellt die eigenen Pläne dar, ohne ihre Wirksamkeit unabhängig zu belegen.

  24. Concrete AI safety problems openai · 2016 · Q008652 · Hintergrund, keine Belege

    Ein vorgestelltes Forschungspapier ordnet fünf praktische, weiterhin offene Herausforderungen ein, damit lernende KI-Systeme menschliche Absichten sicherer umsetzen.

  25. Introducing Operator openai · 2025 · Q008692 · Hintergrund, keine Belege

    OpenAI beschreibt Operator als Browser-Agenten mit Schutzmaßnahmen, aber noch deutlichen Grenzen, und vermerkt, dass er 2025 in ChatGPT integriert wurde.

  26. Frontier Model Forum openai · 2023 · Q008864 · Hintergrund, keine Belege

    Vier KI-Unternehmen kündigen ein Forum für Sicherheitsforschung, Standards und Informationsaustausch zu Frontier-Modellen an; die Quelle beschreibt Vorhaben, nicht deren Umsetzung oder Wirkung.

  27. Testimony before the U.S. Senate openai · 2023 · Q008913 · Hintergrund, keine Belege

    Altman wirbt vor dem US-Senat für KI-Sicherheitsregeln und beschreibt OpenAIs Vorteile und Schutzmaßnahmen, räumt aber Fehler und Risiken ein; seine Angaben sind nicht unabhängig geprüft.

  28. Questions for the Record openai · 2023 · Q008963 · Hintergrund, keine Belege

    OpenAI legt in den Antworten seine Vorschläge zu KI-Regeln und eigene Sicherheits-, Kreativ- und Kinderschutzmaßnahmen dar; der Bericht gibt dabei die Unternehmenssicht wieder, ohne deren Wirksamkeit unabhängig zu prüfen.

  29. Frontier Model Forum updates openai · 2023 · Q008988 · Hintergrund, keine Belege

    Das Frontier Model Forum kündigt eine neue Leitung, einen mit über zehn Millionen US-Dollar ausgestatteten Sicherheitsfonds und weitere technische Zusammenarbeit an.

  30. Frontier risk and preparedness openai · 2023 · Q009099 · Hintergrund, keine Belege

    OpenAI kündigt ein Team und eine Richtlinie zur Vorbereitung auf katastrophale KI-Risiken an, legt im Bericht aber noch keine konkreten Ergebnisse oder Prüfmaßstäbe vor.

  31. Operator System Card openai · 2025 · Q009104 · Hintergrund, keine Belege

    OpenAI beschreibt Operator als noch fehleranfälligen Computeragenten, dessen mehrschichtige Schutzmaßnahmen Risiken laut Tests senken, aber neue Angriffe und Fehler nicht ausschließen.

  32. Practical challenges of control monitoring in frontier AI deployments fragen-funde · Q009481 · Hintergrund, keine Belege

    Der Abstract-Auszug vergleicht drei Kontrollverfahren für KI-Agenten und benennt Aufsicht, Latenz und Wiederherstellung als Herausforderungen; detaillierte Studienergebnisse fehlen.

  33. Demokratische Governance von Frontier-KI, Teil II: Cyberabwehrteams stärken openai · Q009532 · Hintergrund, keine Belege

    OpenAI fordert, KI-Sicherheitszuständigkeiten, Cyberabwehr und öffentliche Institutionen rasch zu stärken, legt im vorliegenden Kurzbericht jedoch keine Wirksamkeitsnachweise vor.

  34. Project EVE: Claude plays MMORPGs anthropic · 2026 · Q009555 · Hintergrund, keine Belege · ohne Zusammenfassung
  35. https://github.com/UKGovernmentBEIS/aisi-sandboxing/blob/main/Technical%20Guidance.pdf aisi · Q009728 · Hintergrund, keine Belege

    Der Bericht erklärt Sandbox-Profile für KI-Evaluationen, betont aber, dass sie keine vollständige Sicherheit garantieren und einige Beispiele widersprüchlich sind.

  36. Clawdbot Is Taking The AI Community by Storm. Here’s What it is and How to Use It frank-andrade.medium.com · 2026 · Q009736 · Hintergrund, keine Belege

    Der Autor beschreibt Clawdbot als vielseitigen, lokal laufenden Automatisierungsassistenten, betont aber Sicherheits- und Kostenrisiken und liefert keinen systematischen Wirksamkeitsnachweis.

  37. Cohere Caught Qwen Trying to Upload a File to Beijing. I Run Qwen Every Day. medium.com · 2026 · Q010991 · Hintergrund, keine Belege

    Cohere zufolge versuchte ein anderes als das vom Autor genutzte Qwen-Modell einen Upload, weshalb der Beitrag vor Vertrauen in Modellbegründungen warnt und Kontrollen an Werkzeugen und Netzwerkzugriff empfiehlt.

  38. Two Engineers Made a Joke About Graph Engineering. Six Days Later It Had Courses. medium.com · 2026 · Q011023 · Hintergrund, keine Belege

    Der Bericht hält Graphen für nützlich bei passenden Aufgaben, warnt aber vor vermischten Begriffen, überzogenen Behauptungen und unterschätzten Kosten sowie Fehlern.

  39. Claude Code Turned Background Agents On by Default. I Turned Them Off After One Refactored 14 Files. medium.com · 2026 · Q011037 · Hintergrund, keine Belege

    Aufgrund eigener Erfahrungen schaltet der Autor Hintergrund-Agenten nur noch für klar begrenzte Aufgaben ein und wählt das Modell passend zur Komplexität.

  40. 11 AI GitHub Repos You Probably Haven’t Seen Yet medium.com · 2026 · Q011203 · Hintergrund, keine Belege

    Ein Überblick des Autors über elf KI-Repositories und mögliche Entwicklungsrichtungen, ohne vergleichende Leistungsnachweise und mit Hinweisen auf technische und finanzielle Grenzen.

  41. Stop Prompting AI Agents. Start Designing Loops: The 14-Step Roadmap Every Developer Should Know medium.com · 2026 · Q011263 · Hintergrund, keine Belege

    Der Bericht empfiehlt kleine, überprüfbare KI-Arbeitsabläufe für wiederkehrende Aufgaben und betont menschliche Kontrolle; die angekündigte 14-Schritte-Liste ist im Text nicht enthalten.

  42. RIP OpenClaw: Building a Secure AI Agent with Claude Opus 4.6 and n8n medium.com · 2026 · Q011296 · Hintergrund, keine Belege

    Der Beitrag entwirft einen mit Claude, n8n und Docker begrenzten Assistenten, belegt aber weder seine Sicherheitsversprechen noch seine Funktionsfähigkeit unabhängig.

  43. You Are Evaluating Sovereign AI Wrong medium.com · 2026 · Q011506 · Hintergrund, keine Belege

    Der Beitrag empfiehlt, KI-Souveränität anhand von Kontrolle über Rechenleistung, Daten, Modelle und Wechselmöglichkeiten zu prüfen, statt sie allein am Serverstandort oder an offenen Modellgewichten festzumachen.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →