Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
apolloohne Datum · Q000816

Red-teaming auto mode: lessons from our first external monitor campaign with Anthropic

apolloresearch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Apollo berichtet über einen Pilot-Red-Team-Test von Anthropic Auto Mode, der eine Testmethodik für Monitore autonomer Programmieragenten erproben sollte. Genannt werden Fragen zu Eingriffszeitpunkt, Nutzerautorisierung, Vertrauensgrenzen und Informationsumfang; konkrete Messwerte fehlen. Der bereitgestellte Text wirkt unvollständig und endet abrupt mit „oUR FINDINGS“.

Mittel

Der Bericht schildert eine Pilotkampagne von Apollo Research, bei der Anthropic Auto Mode für autonome Programmieragenten einem Red-Team-Test unterzogen wurde. Ziel war, eine Testmethodik für Überwachungssysteme zu entwickeln. Apollo kombinierte Angriffe und Fehler in realen Abläufen, statische Benchmarks und dynamische Tests zur Steuerung. Laut Bericht setzte Anthropic die aus den Tests abgeleiteten Empfehlungen um; konkrete Testfälle oder Messwerte werden im vorliegenden Text nicht genannt.

Apollo hebt vier offene Gestaltungsfragen hervor: wann ein Monitor eingreifen sollte, wie informierte Zustimmung der Nutzer ermittelt werden kann, welche Vertrauensgrenzen zwischen Daten und Zielen gelten und welche Informationen ein Monitor für seine Entscheidung erhalten sollte. Zu frühe Eingriffe können Arbeitsabläufe stören, zu späte den Handlungsspielraum einschränken; zu viel Kontext kann Risiken, Kosten und Verzögerungen erhöhen.

Apollo plant weitere, regelmäßige Tests mit führenden KI-Laboren, ausgelöst etwa durch neue Monitorversionen oder steigende Modellrisiken. Der Text stellt erwartete Vorteile wie bessere Sicherheitspraktiken als Ziele dar, nicht als belegte Resultate. Er wirkt unvollständig: Er bricht mit „oUR FINDINGS“ ab und enthält keine detaillierte Ergebnisdarstellung.

Ausführlich lesen

Der bereitgestellte Bericht beschreibt eine erste Pilotkampagne von Apollo Research, bei der externe Prüfer Anthropic Auto Mode einem Red-Team-Test unterzogen. Auto Mode ist laut Bericht eine Berechtigungsfunktion, die bei autonomen Programmieragenten entscheidet, ob der nächste Schritt erlaubt oder blockiert wird. Apollo will seine Erfahrung mit Prüfungen von Spitzenmodellen vor deren Veröffentlichung nutzen, um auch solche Überwachungssysteme gezielt auf Schwächen zu testen.

Die Pilotkampagne sollte vor allem eine Methode für diese Prüfungen entwickeln und Arbeitsweisen etablieren. Dafür nutzte Apollo drei Ansätze: Es fügte Fehler unterschiedlicher Schwere in reale Abläufe ein, untersuchte statische Überwachungs-Benchmarks wie MonitoringBench und führte dynamische Off-Policy-Tests zur Steuerung durch. Nach Darstellung des Berichts ergaben die Tests Verbesserungsmöglichkeiten; Apollo verknüpfte sie mit konkreten Empfehlungen, die Anthropic umgesetzt habe. Einzelne Testfälle oder Messwerte nennt der vorliegende Text nicht.

Als zentrale Fragen für die Entwicklung von Überwachungssystemen nennt Apollo vier Bereiche. Erstens müsse der Zeitpunkt eines Eingriffs abgewogen werden: Ein System könne schon bei einer riskanten Änderung blockieren oder erst bei deren Ausführung beziehungsweise Veröffentlichung. Ein zu frühes Eingreifen könne unnötig blockieren, während ein spätes Eingreifen nur wenige Gelegenheiten zur Verhinderung lasse. Zweitens sei zu klären, was als informierte Nutzerautorisierung gilt, ohne lange Arbeitsabläufe unnötig zu stören. Drittens müsse das System Vertrauensgrenzen erkennen, etwa zwischen öffentlichen und privaten Zielen, Entwicklung und Bereitstellung sowie geheimen, sensiblen, vertraulichen und öffentlichen Daten. Viertens müsse festgelegt werden, welche Informationen der Monitor erhält: Genügend Kontext sei wichtig für fundierte Entscheidungen, zu viel könne jedoch Prompt-Injection-Risiken, Kosten, Verzögerungen und eine Verschlechterung des verfügbaren Kontextes mit sich bringen.

Für die Zukunft kündigt Apollo weitere Überwachungstests an, zunächst mit führenden KI-Laboren. Da solche Monitore unabhängig von Modellveröffentlichungen eingeführt werden, könnten die Kampagnen laut Apollo zeitversetzt und regelmäßig stattfinden. Als mögliche Auslöser nennt der Bericht neue Monitorversionen oder steigende Risiken durch leistungsfähigere Modelle, etwa irreversible gefährliche Handlungen infolge von Übereifer oder Fehlern. Die gewonnenen Erkenntnisse sollen Forschung zu Abwehrmaßnahmen und die Überwachung für Watcher unterstützen. Apollo erwartet, dass unabhängige Tests langfristig Sicherheitsgarantien stärken und den Austausch von Methoden fördern können. Das sind Erwartungen des Unternehmens, keine im Text nachgewiesenen Ergebnisse. Der Auszug endet unvermittelt mit „oUR FINDINGS“ und enthält keine ausführliche Darstellung der konkreten Testergebnisse; die Zusammenfassung beschränkt sich daher auf die dort genannten Angaben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurde Lunas mittlere Zusammenfassung, weil sie den Bericht vollständiger wiedergibt; die kurze Fassung ist ebenfalls treu, lässt aber das Vorgehen und die Empfehlungen weitgehend aus. Der Bericht bricht mit „oUR FINDINGS“ ab, daher fehlt die Ergebnisdarstellung und sie ist nicht bewertbar. Die Einordnung stützt sich nur auf den vorliegenden Text.

Im Bericht, aber nicht in der Zusammenfassung

  • Die konkrete Vertrauensgrenze mit ihren Beispielen: öffentliche gegen private Ziele, Entwicklung gegen Einsatz und Geheim-, vertrauliche und öffentliche Daten
  • Der Bezug zu Watcher und zur Blue-Teaming-Forschung als Folgearbeit
  • Apollos Vorerfahrung mit Vor-Einsatz-Evaluationen von Frontier-Modellen als Ausgangspunkt
  • Die Erklärung, dass Auto Mode über das Erlauben oder Blockieren der nächsten Agentenaktion entscheidet

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV offen
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 26 %Hintergrund, keine Belege
    • Luna 42 %Hintergrund, keine Belege
    • JEV offen
    • amos 29 %nur am Rande erwähnt
    • SubQ 28 %Hintergrund, keine Belege
    • drex 33 %einzelne zitierbare Belege
    • d3-ultra 33 %gleiches Oberthema, hilft nicht

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 21 %gleiches Oberthema, hilft nicht
    • Luna 57 %einzelne zitierbare Belege
    • JEV offen
    • amos 36 %einzelne zitierbare Belege
    • SubQ 30 %gleiches Oberthema, hilft nicht
    • drex 31 %einzelne zitierbare Belege
    • d3-ultra 36 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-F4-T04 Wie wird ein Modell als sicher bescheinigt, bevor es von einem harmlosen Bereich wie Chat in einen folgenreichen Einsatzbereich wie Angriff, Führung und Kontrolle oder Cyber wechselt, in dem seine Entwickler es nie eingesetzt haben, und welches gemeinsame Verfahren erkennt gefährliches, neu auftretendes Verhalten vor dem Wechsel? Luna: Stufe 4 · 23 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 25 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 27 %Hintergrund, keine Belege
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 23 %Hintergrund, keine Belege
    • Luna 49 %einzelne zitierbare Belege
    • JEV offen
    • amos 28 %Hintergrund, keine Belege
    • SubQ 23 %Hintergrund, keine Belege
    • drex 29 %einzelne zitierbare Belege
    • d3-ultra 44 %gleiches Oberthema, hilft nicht

    • SF-P2-T01 Wer wählt die Prüfer aus, wer bezahlt sie, wer darf sie entlassen, und wird dieser Vertrag vor dem ersten Befund veröffentlicht? Welchen Mindestvertrag, der ihre Unabhängigkeit wahrt, könnten Labore jetzt unterschreiben, ohne auf ein Gesetz zu warten, einschließlich der Frage, wie Berichte veröffentlicht werden? Und wie bleiben die Prüfer unabhängig, wenn Geld oder Infrastruktur vom geprüften Labor kommen? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 21 %gleiches Oberthema, hilft nicht
    • Luna 58 %einzelne zitierbare Belege
    • JEV offen
    • amos 29 %einzelne zitierbare Belege
    • SubQ 32 %einzelne zitierbare Belege
    • drex 38 %einzelne zitierbare Belege
    • d3-ultra 43 %Hintergrund, keine Belege
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-P3-T01 Welcher gemeinsame Rahmen für Labore macht Selbstüberwachung überprüfbar, ohne geschütztes geistiges Eigentum offenzulegen, und welche unabhängigen Verfahren Dritter, falls es sie gibt, bestätigen, dass die Selbstüberwachung riskantes Verhalten vor der Freigabe wirklich findet und nicht nur Schein ist? Luna: Stufe 4 · 34 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-P3-T04 Wer prüft die KI-Modelle, die andere Modelle prüfen, auf Anweisungen, Versionen und Fehlerfälle, und welche unabhängige Prüfung zeigt, dass das geprüfte Modell sie nicht manipulieren kann, besonders wenn sie aus derselben Modellfamilie stammen? Und wenn gemeinsame Tests, Schweregrade und die Ersteinstufung von Meldungen von Sprachmodellen entworfen, durchgeführt und zusammengefasst werden: Nimmt jeder Staat einen Prüfmechanismus an, dessen Kernbausteine aus ausländischen Laboren stammen? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 27 %gleiches Oberthema, hilft nicht
    • Luna 58 %Hintergrund, keine Belege
    • JEV offen
    • amos 31 %Hintergrund, keine Belege
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 27 %Hintergrund, keine Belege
    • d3-ultra 38 %gleiches Oberthema, hilft nicht

    • SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV offen
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 65 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV offen
    • amos 29 %Hintergrund, keine Belege
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 25 %Hintergrund, keine Belege
    • d3-ultra 62 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 22 %Hintergrund, keine Belege
    • Luna 67 %Hintergrund, keine Belege
    • JEV offen
    • amos 30 %Hintergrund, keine Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 25 %Hintergrund, keine Belege
    • d3-ultra 62 %gleiches Oberthema, hilft nicht

    • SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 21 %gleiches Oberthema, hilft nicht
    • Luna 52 %einzelne zitierbare Belege
    • JEV offen
    • amos 30 %einzelne zitierbare Belege
    • SubQ 31 %Hintergrund, keine Belege
    • drex 27 %einzelne zitierbare Belege
    • d3-ultra 36 %Hintergrund, keine Belege
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 20 %Hintergrund, keine Belege
    • Luna 37 %einzelne zitierbare Belege
    • JEV offen
    • amos 32 %einzelne zitierbare Belege
    • SubQ 28 %Hintergrund, keine Belege
    • drex 31 %einzelne zitierbare Belege
    • d3-ultra 39 %einzelne zitierbare Belege

    • SF-A1-T01 Welche Mindestgrenzen und Schutzvorkehrungen sollen für Zugangsdaten, Kommunikation, Geld, dauerhaftes Gedächtnis, Verträge, Änderungen an Systemen und Handlungen in der physischen Welt gelten, auch wenn ein Agent über Tage ohne sofortige menschliche Zustimmung handelt, und wer darf Befugnisse erteilen, prüfen und entziehen? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
    • SF-A1-T03 Werden Freigabetests messen, ob ein Agent folgenreiche Handlungen außerhalb seines Auftrags unterlässt, auch wenn kein einzeln aufgeführtes Verbot sie blockiert, und werden die Kriterien veröffentlicht? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
    • SF-A1-T05 Werden Agententests Aufgaben enthalten, in denen die Pflicht, Belege zu zitieren, dazu drängt, eine lokale Datei zu veröffentlichen, und welche Regel hindert einen Agenten daran, private Quellen ohne Erlaubnis des Nutzers unter einer öffentlichen Internetadresse zugänglich zu machen? Luna: Stufe 4 · 26 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 25 %gleiches Oberthema, hilft nicht
    • Luna 57 %Hintergrund, keine Belege
    • JEV offen
    • amos 26 %Hintergrund, keine Belege
    • SubQ 27 %Hintergrund, keine Belege
    • drex 31 %einzelne zitierbare Belege
    • d3-ultra 30 %Hintergrund, keine Belege

Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV offen
    • amos 29 %nur am Rande erwähnt
    • SubQ 62 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 61 %gleiches Oberthema, hilft nicht

Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV offen
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV offen
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 73 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 23 %gleiches Oberthema, hilft nicht
    • Luna 35 %einzelne zitierbare Belege
    • JEV offen
    • amos 35 %nur am Rande erwähnt
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht

    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →