Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

● Fragen-Atlas · Quellen aus dem Archiv

SF-T3-T04

Welche konkrete menschliche Aufsicht oder Eingriffsmöglichkeit muss während der Selbstverbesserung bleiben und darf nur mit gegenseitiger Zustimmung ersetzt werden, und wer bescheinigt, dass der sich verbessernde Agent keine menschliche Rolle still an einen selbst entworfenen Unteragenten abgegeben hat?

59 Berichte ab Stufe 3 bei Luna (weitere Modelle folgen), stärkste zuerst.

Zum Inhalt ↓
← Alle Quellen zu SF-T3
  1. GPT-4o System Card openai · 2024 · Q002072 · beantwortet teilweise oder widerspricht

    OpenAIs System Card beschreibt GPT‑4os Sicherheitsmaßnahmen und Leistungsfortschritte, bewertet Textüberzeugung als mittleres Risiko und hält wesentliche Prüfungs- und Einsatzgrenzen fest.

  2. Post by @theobearman on X x.com · Q001796 · einzelne zitierbare Belege · ohne Zusammenfassung
  3. Anthropic, PBC - S-1 (Q2) fragen-funde · Q001846 · einzelne zitierbare Belege · ohne Zusammenfassung
  4. Anthropic, PBC sec.gov · Q001847 · einzelne zitierbare Belege · ohne Zusammenfassung
  5. China’s AI safety framework 3.0 released fragen-funde · 2026 · Q000081 · Hintergrund, keine Belege

    Der bereitgestellte Text ist ein Auszug: Laut Bericht setzt Chinas nicht bindender KI-Sicherheitsrahmen stärker auf menschliche Eingriffe während der Nutzung als auf eine Begrenzung von KI-Fähigkeiten.

  6. Developing Gemini 4 Argon responsibly and safely fragen-funde · 2026 · Q000095 · Hintergrund, keine Belege

    Google zufolge soll Gemini 4 Argon trotz gestiegener Fähigkeiten durch mehrschichtige Prüfungen, laufende Überwachung und Training gegen Missbrauch, Grenzverletzungen und Prompt Injection abgesichert werden; die Wirksamkeitsangaben beruhen auf Googles eigenen Tests.

  7. Summary of Comments on the Concept Paper nist · 2026 · Q000145 · Hintergrund, keine Belege

    NIST fasst Rückmeldungen zu standardbasierter, überprüfbarer und datenschutzbewusster Agentensicherheit zusammen; der bereitgestellte Berichtstext ist am Ende unvollständig.

  8. Design Tenets for Agent Identity Management Systems nist · 2026 · Q000152 · Hintergrund, keine Belege · ohne Zusammenfassung
  9. One AI rule book: chip expert urges shared standards across China, US models fragen-funde · 2026 · Q000186 · Hintergrund, keine Belege · ohne Zusammenfassung
  10. AI Agent Security: Threats, Guardrails, Controls fragen-funde · 2026 · Q000202 · Hintergrund, keine Belege · ohne Zusammenfassung
  11. The kill switch problem: Why stopping AI agents is harder than starting them fragen-funde · 2026 · Q000205 · Hintergrund, keine Belege · ohne Zusammenfassung
  12. Human in the loop is not yet an AI agent recovery plan fragen-funde · 2026 · Q000217 · Hintergrund, keine Belege

    Laut einer Befragung von 25 Führungskräften reichen menschliche Freigaben nicht aus: Tests, Überwachung und Rekonstruktion von KI-Agentenaktionen sind vielfach unzureichend.

  13. Beyond the AI slowdown: the four As for governing frontier AI - AI and Ethics fragen-funde · 2026 · Q000231 · Hintergrund, keine Belege

    Die Autoren schlagen vor, Frontier-KI anhand von Kontrolle, Zugang, Entscheidungsbefugnis und Verteilung gezielt zu regulieren, statt sich auf eine pauschale Verlangsamung zu verlassen.

  14. DSCI: Agentic AI doesn’t need new laws; It needs controls you can prove fragen-funde · 2026 · Q000234 · Hintergrund, keine Belege · ohne Zusammenfassung
  15. Paul Christiano: AI Alignment - What’s Working and What’s Not | The Hinton Lectures 2026 (Night 1) youtube.com · 2026 · Q000297 · Hintergrund, keine Belege · ohne Zusammenfassung
  16. Paul Christiano: Staying in Control of Self-Improving AI | The Hinton Lectures 2026 (Night 2) youtube.com · 2026 · Q000304 · Hintergrund, keine Belege · ohne Zusammenfassung
  17. Test Whether an AI Agent Stays Stopped cybersecurity-insiders.com · 2026 · Q000448 · Hintergrund, keine Belege · ohne Zusammenfassung
  18. Anthropic says AI speeding up its own research has crossed its safety threshold maccus.fr · 2026 · Q000525 · Hintergrund, keine Belege

    Anthropic meldet laut Bericht eine erwartungsbasierte Überschreitung seiner KI-Forschungsschwelle, doch Belege, Schutzmaßnahmen und Folgen bleiben teilweise offen.

  19. How Close is Recursive Self-Improvement? A Review of the Evidence forecastingresearch.org · 2026 · Q000531 · Hintergrund, keine Belege

    KI übernimmt zunehmend Forschungsarbeit, aber ob daraus bald eine anhaltende und breit wirksame Selbstverbesserung entsteht, bleibt wegen deutlicher Urteils- und Messlücken offen.

  20. GPT-5.1-Codex-Max System Card openai · 2025 · Q000927 · Hintergrund, keine Belege

    GPT‑5.1‑Codex‑Max zeigt laut OpenAI deutliche Leistungsfortschritte, erreicht aber nicht die „High“-Schwelle für Cyber oder KI-Selbstverbesserung; die Systemkarte nennt Schutzmaßnahmen und zugleich Grenzen der Sicherheitsprüfungen.

  21. Putting agentic AI systems to work: What practitioners reveal about deployment and governance oecd · 2026 · Q000973 · Hintergrund, keine Belege

    Interviews in 25 Organisationen zeigen wachsenden, aber kontrollierten Einsatz agentischer KI und ungelöste Governance-Fragen; die Befunde sind eine begrenzte Momentaufnahme.

  22. We need 3rd party Training-Run Evaluations apollo · Q001040 · Hintergrund, keine Belege

    Apollo Research plädiert für unabhängige, schrittweise aufgebaute Prüfungen von KI-Trainingsläufen, um mögliche Risiken zu erkennen, die Tests am fertigen Modell übersehen könnten.

  23. Key Takeaways from the 2026 WAIC Frontier and Agentic AI Safety Forum in Shanghai aisafetychina · 2026 · Q001269 · Hintergrund, keine Belege

    Ein Veranstalterbericht über ein WAIC-Forum, das angesichts rasch wachsender KI-Fähigkeiten bessere Sicherheitsprüfungen, Agentenaufsicht und internationale Zusammenarbeit fordert.

  24. Apollo Update May 2026 apollo · Q001416 · Hintergrund, keine Belege

    Apollo kündigt den Ausbau von KI-Sicherheitsforschung, Agentenüberwachung und Governance an und beschreibt dabei offene Forschungsfragen sowie geplante Büros und Produkte.

  25. AI Behind Closed Doors: a Primer on The Governance of Internal Deployment apollo · Q001475 · Hintergrund, keine Belege

    Apollo Research skizziert Risiken des internen KI-Einsatzes und empfiehlt als ersten Governance-Ansatz Prüfungen, Zugangsbeschränkungen, Aufsicht, gezielte Transparenz und gemeinsame Notfallpläne.

  26. A Loss of Control Threat Map for AI Research and Development apollo · Q001485 · Hintergrund, keine Belege

    Der Bericht ordnet hypothetische Wege zu Kontrollverlust durch KI-automatisierte KI-Forschung, ohne im bereitgestellten Text die einzelnen Wege oder Gegenmaßnahmen näher darzustellen.

  27. Seven Provisions in the National Defense Authorization Act with High Potential to Accelerate AI Security apollo · Q001525 · Hintergrund, keine Belege

    Apollo Research bewertet sieben NDAA-Bestimmungen vorläufig als mögliche Stärkung von KI-Sicherheit und menschlicher Kontrolle, weist aber darauf hin, dass die Analyse nicht vollständig ist.

  28. Frontier Risk Report (February to March 2026) metr · 2026 · Q001569 · Hintergrund, keine Belege

    METR sah im Pilotprojekt die Möglichkeit kleiner Rogue Deployments, aber keine beobachtete Fähigkeit, größere Vorhaben vor aktiver Untersuchung zu verbergen; Täuschung und Überwachungslücken bleiben relevante, nur begrenzt gemessene Risiken.

  29. Trustworthy agents in practice anthropic · 2026 · Q001742 · Hintergrund, keine Belege · ohne Zusammenfassung
  30. Post by @AlexBores on X x.com · 2026 · Q001809 · Hintergrund, keine Belege · ohne Zusammenfassung
  31. Anthropic's amended IPO filing warns it may soon meet its own threshold for AI-accelerated research, as third-quarter revenue reaches $17 billion aipolix.com · 2026 · Q001840 · Hintergrund, keine Belege

    Anthropic sagt, seine KI könnte bald eine intern definierte Fortschrittsschwelle erreichen, während das Unternehmen zugleich vor Sicherheitsrisiken und im dritten Quartal trotz stark gestiegenen Umsatzes einen Betriebsverlust meldet.

  32. Anthropic, PBC sec.gov · Q001848 · Hintergrund, keine Belege · ohne Zusammenfassung
  33. Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems farai · 2026 · Q002102 · Hintergrund, keine Belege · ohne Zusammenfassung
  34. How we’re addressing the gap between AI capabilities and mitigations aisi · 2025 · Q002243 · Hintergrund, keine Belege

    AISI will Schutz, Kontrolle und Alignment von KI durch technische Forschung und Förderung voranbringen, weist aber darauf hin, dass heutige Verfahren möglicherweise nicht mit sehr leistungsfähigen Systemen mithalten.

  35. Frontier Mitigations fmf · 2025 · Q002322 · Hintergrund, keine Belege · ohne Zusammenfassung
  36. AISI Research Agenda | The AI Security Institute aisi · Q002363 · Hintergrund, keine Belege

    Das AISI beschreibt eine veränderliche Forschungsagenda zu Risiken fortgeschrittener KI und betont, dass manche Details sensibel, Ergebnisse begrenzt und viele Vorhaben noch nicht abschließend sind.

  37. How to evaluate control measures for LLM agents? A trajectory from today to superintelligence aisi · 2025 · Q002387 · Hintergrund, keine Belege

    Der vorliegende Abstract-Auszug schlägt fähigkeitsgerechte Kontrollen für KI-Agenten vor, hält aber Forschungsdurchbrüche für nötig, um superintelligente Systeme überzeugend abzusichern.

  38. AI governance through global red lines can help prevent unacceptable risks oecd · 2025 · Q002433 · Hintergrund, keine Belege

    Der Bericht fordert präzise, international durchsetzbare KI-rote-Linien und Sicherheitsnachweise, hält deren Umsetzung bei heutigen komplexen Modellen aber für schwierig.

  39. Focus areas for The Anthropic Institute anthropic · 2026 · Q003063 · Hintergrund, keine Belege

    Anthropic kündigt Forschung zu wirtschaftlichen, gesellschaftlichen und sicherheitspolitischen Folgen von KI sowie zu KI-beschleunigter Forschung an, legt dabei aber vor allem Fragen und Vorhaben statt Ergebnisse vor.

  40. Taking a responsible path to AGI deepmind · 2025 · Q003066 · Hintergrund, keine Belege

    DeepMind beschreibt Sicherheitsmaßnahmen für mögliche AGI, vor allem gegen Missbrauch und Fehlanpassung, lässt aber erkennen, dass wesentliche Risiken und offene Fragen bestehen.

  41. Cognizant brings Claude to 350,000 employees anthropic · 2025 · Q003245 · Hintergrund, keine Belege

    Cognizant kündigt die Einführung von Claude für bis zu 350.000 Beschäftigte und gemeinsame Unternehmenslösungen an, weist im Bericht aber noch keine unabhängig belegten Wirkungen aus.

  42. Building effective AI agents anthropic · 2024 · Q004053 · Hintergrund, keine Belege

    Anthropic rät zu einfachen, messbar wirksamen LLM-Systemen und warnt, dass autonome Agenten trotz ihrer Flexibilität sorgfältige Werkzeuge, Tests und menschliche Kontrolle erfordern.

  43. How Jump Trading is scaling quant research with ChatGPT openai · 2026 · Q004316 · Hintergrund, keine Belege

    Jump Trading beschreibt GPT‑6 Astra als Unterstützung für längere Forschungsabläufe, betont aber menschliche Kontrolle; die weitergehende autonome Forschung bleibt laut Bericht ein Zukunftsbild.

  44. Hacking AI cset · 2020 · Q004346 · Hintergrund, keine Belege

    Der Auszug warnt vor Cyberrisiken maschinellen Lernens und plädiert für fallbezogene Abwägung, widerstandsfähige Systeme und Vorsicht bei offensiven Angriffen.

  45. Dario Amodei — We Must Pace the Frontier fragen-funde · 2026 · Q004494 · Hintergrund, keine Belege

    Amodei schlägt vor, die KI-Entwicklung durch unabhängige Prüfungen und abgestimmte Sicherheitsgrenzen zu verlangsamen, räumt aber ein, dass Wirksamkeit und internationale Durchsetzung noch offen sind.

  46. An Alien Mind fragen-funde · 2026 · Q004592 · Hintergrund, keine Belege

    Pachocki warnt, dass KI-Fähigkeiten schneller wachsen könnten als ihre verlässliche Ausrichtung und Überwachung, und fordert deshalb Sicherheitsgrenzen sowie internationale Abstimmung.

  47. Models as Insider Risks in the Super Intelligence Era fragen-funde · 2026 · Q005078 · Hintergrund, keine Belege · ohne Zusammenfassung
  48. Harness, Loops, Graphs: What 217 Real Agent Loops Are Missing (Full Guide) fragen-funde · 2026 · Q005251 · Hintergrund, keine Belege · ohne Zusammenfassung
  49. Measurements for understanding the pace of AI development inside frontier labs anthropic · Q005392 · Hintergrund, keine Belege

    Anthropic berichtet vorläufige Kennzahlen zu KI-Forschung, Agentenaufsicht und Sicherheits-Rechenleistung und fordert vergleichbare Messungen sowie unabhängige Prüfungen.

  50. When AI builds itself anthropic · Q005401 · Hintergrund, keine Belege

    Anthropic zufolge beschleunigt KI bereits die KI-Entwicklung; vollständige Selbstverbesserung bleibt eine unsichere Möglichkeit mit großen Chancen, Risiken und erheblichen Mess- und Koordinationsproblemen.

  51. What is AI? Can you make a clear distinction between AI and non-AI systems? oecd · 2024 · Q005409 · Hintergrund, keine Belege

    Laut OECD-Bericht beschreibt die überarbeitete Definition KI-Systeme breit als Systeme, die aus Eingaben zielbezogene Ausgaben ableiten; sie ersetzt keine Regeln zu Haftung und Verantwortung und lässt kontextbezogene Regulierung offen.

  52. Ensuring AI’s trustworthiness: reliability engineering meets data-driven risk management oecd · 2023 · Q005603 · Hintergrund, keine Belege

    Der Beitrag empfiehlt Zuverlässigkeitstechnik und dokumentierte Vorfallmeldungen für das KI-Risikomanagement, betont aber, dass dieser Ansatz allein keine KI-Sicherheit garantiert.

  53. Artificial General Intelligence: can we avoid the ultimate existential threat? oecd · 2023 · Q006243 · Hintergrund, keine Belege

    Der Bericht warnt, dass eine AGI große Chancen, aber auch schwer kontrollierbare existenzielle Risiken bergen könnte, und fordert frühe Sicherheitsarbeit sowie internationale Vorsorge, obwohl wirksame Lösungen bislang offen sind.

  54. Introducing ChatGPT agent openai · 2025 · Q006682 · Hintergrund, keine Belege

    OpenAI stellte 2025 einen Agenten für Recherche und Webaktionen vor und berichtete über starke Testergebnisse, räumte aber Risiken, Fehler und frühe Produktgrenzen ein.

  55. An Alien Mind openai · 2026 · Q007478 · Hintergrund, keine Belege

    Der OpenAI-Wissenschaftler Jakub Pachocki warnt, dass KI schneller leistungsfähiger werden könnte, als ihre Ausrichtung und Überwachung Schritt halten, und fordert deshalb Sicherheitsgrenzen und internationale Koordination.

  56. Research acceleration: The view inside OpenAI openai · 2026 · Q007497 · Hintergrund, keine Belege

    OpenAI meldet eine wachsende Rolle von KI-Agenten in der Forschung, betont aber die Vorläufigkeit der Messungen sowie die Notwendigkeit menschlicher Kontrolle und strenger Sicherheitsgrenzen.

  57. How we think about safety and alignment openai · Q009304 · Hintergrund, keine Belege

    OpenAI setzt laut Bericht auf schrittweise Erprobung, mehrschichtige Schutzmaßnahmen, menschliche Kontrolle und gemeinsame Verantwortung, räumt jedoch erhebliche Unsicherheit und offene Wirksamkeitsfragen ein.

  58. Das Zeitfenster für KI-Richtlinien ist offen. Wir müssen handeln. openai · Q009515 · Hintergrund, keine Belege

    OpenAI drängt auf rasche KI-Sicherheitsregeln und erklärt, seine Schutzmaßnahmen mit den Fähigkeiten der Systeme weiterzuentwickeln.

  59. Google’s Harness²: The Open-Source Framework That Helps AI Agents Improve Themselves medium.com · 2026 · Q011169 · Hintergrund, keine Belege

    Der Bericht stellt Harness² als Ansatz vor, der Agenten durch erprobte Änderungen an ihrer Arbeitsumgebung verbessern soll; berichtete Benchmarkgewinne gelten jedoch nicht als Beleg für bessere oder korrekte Ergebnisse in jeder realen Aufgabe.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →