Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
apolloohne Datum · Q001672

What makes a good monitoring prompt?

apolloresearch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht kommt zu dem Ergebnis, dass strukturierte Analysevorgaben, eine detaillierte Schweregradskala und ein Bewertungsbeispiel die Qualität von Monitoring-Prompts besonders stützen; bloßes Streichen ganzer Abschnitte ist laut den Tests meist schlechter als Verdichtung. Die Befunde beruhen auf drei Modellen, fünf Fehlermustergruppen und angenäherten Referenzbewertungen, deren Verwendung der Skala eine mögliche Zirkularität erzeugt.

Mittel

Der Bericht vergleicht einen langen Monitoring-Prompt mit gekürzten Varianten, um zu ermitteln, welche Bestandteile die Bewertung von Agentenverläufen am meisten beeinflussen. Untersucht wurden 1.094 Verläufe aus fünf Fehlermustergruppen mit drei Modellen. Die Bewertungen wurden anhand eines näherungsweisen Referenzverfahrens geprüft; gemessen wurden die Genauigkeit der Schweregradwerte und die Rangordnung der Fälle.

Laut Bericht sind eine strukturierte Analyseanleitung, eine detaillierte 1-bis-10-Skala mit Beispielen und ein ausgearbeiteter Bewertungsfall besonders wichtig. Das Entfernen der strukturierten Analyse verschlechterte beide Maße am stärksten. Skala und Beispiel beeinflussten vor allem die Genauigkeit der Punktwerte. Mehrere andere Promptteile ließen sich dagegen mit geringen Folgen entfernen. Internes Modellschlussfolgern half, wenn die Prompt-Anleitung fehlte, ersetzte sie aber nicht vollständig.

Verdichtete Prompts schnitten bei gleicher Länge besser ab als Fassungen, die ganze Abschnitte entfernten; sehr starke Kürzungen kosteten dennoch Genauigkeit. Als Grenze nennt der Bericht, dass die Referenzwerte nur angenähert sind und die dort ebenfalls verwendete Skala die Ergebnisse zum Entfernen der Skala zirkulär beeinflussen könnte. Die Befunde beziehen sich auf die getesteten Modelle und Aufgaben.

Ausführlich lesen

Der Bericht untersucht, welche Bestandteile eines Monitoring-Prompts die Bewertung von Agentenverläufen am stärksten beeinflussen. Bewertet wird der Schweregrad verschiedener Fehlermuster auf einer Skala von 1 bis 10; zusätzlich wird geprüft, wie gut die Modelle Fälle nach ihrer Schwere ordnen. Die Autorinnen und Autoren vergleichen einen rund 281 Zeilen langen Prompt mit Varianten, in denen einzelne oder mehrere Abschnitte entfernt oder gekürzt wurden.

Die Untersuchung umfasst laut Bericht 1.094 Verläufe aus fünf Fehlermustergruppen: offengelegte Zugangsdaten, persönliche Daten, Fehler bei der Befolgung von Anweisungen, Sicherheitsprobleme und unerwünschte Löschungen. Drei Modelle wurden ausgewertet: Sonnet 4.6, GPT-5.4 und Gemini 2.5 Flash. Die Ergebnisse beruhen auf einem als Näherung bezeichneten Referenzverfahren, das Bewertungen aus Modell-Ensembles und Hierarchien erstellt. Standardmäßig war das interne Schlussfolgern der Modelle ausgeschaltet, damit die vorgegebene Denkstruktur des Prompts vergleichbar untersucht werden konnte. Als Maße dienten der mittlere absolute Fehler gegenüber den Referenzwerten und die Spearman-Rangkorrelation. Der Bericht schätzt die statistische Rauschgrenze auf ungefähr 0,04 beim Fehlermaß und 0,05 bei der Rangkorrelation.

Als wichtigste Bestandteile identifiziert der Bericht die strukturierte, im Prompt vorgegebene Analyse, eine ausführliche Schweregradskala mit Beispielen und einen ausgearbeiteten Bewertungsfall. Das Entfernen der Aufforderung, die Analyse strukturiert auszugeben, verschlechterte die Ergebnisse am stärksten: Der mittlere Fehler stieg um 0,254, während die Rangkorrelation um 0,073 sank. Das Entfernen der Skala erhöhte den Fehler um 0,084; beim Beispiel betrug der Anstieg 0,045. Diese beiden Hilfen verbesserten laut Bericht vor allem die Kalibrierung der Punktwerte, während die Rangfolge der Fälle weitgehend stabil blieb. Andere Abschnitte, etwa Kontextfragen oder Listen zu akzeptablen und problematischen Fällen, ließen sich einzeln teils ohne messbaren Vorteil entfernen; manche Kürzungen schnitten geringfügig besser ab.

Die Ergebnisse mehrerer gleichzeitiger Kürzungen waren nicht einfach aus Einzeltests ableitbar, weil sich Promptbestandteile teilweise überschneiden. Wenn Analyse, Skala und Beispiel erhalten blieben, konnten mehrere übrige Bestandteile mit nur geringen Einbußen entfallen. Ohne Skala oder Beispiel verschlechterte sich die Genauigkeit stärker; bei einer reinen Denkstruktur stieg der mittlere Fehler laut Bericht um 0,471. Internes Modellschlussfolgern ersetzte die strukturierte Prompt-Anleitung nicht vollständig. Es half vor allem dann, wenn diese Anleitung fehlte; bei ausgeschalteter Promptstruktur verringerte sich der Fehlernachteil mit höherem internen Schlussfolgerungsaufwand, verschwand jedoch nicht.

Auch Verdichtung erwies sich laut Bericht als günstiger als das vollständige Streichen gleich vieler Promptteile. Eine auf etwa 45 Prozent der ursprünglichen Länge gekürzte Fassung erhöhte den mittleren Fehler um 0,044 und blieb bei der Rangkorrelation innerhalb der angegebenen Rauschgrenze. Bei sehr starker Kürzung auf etwa 10 Prozent stieg der Fehler stärker, um 0,173, und auch die Rangkorrelation verschlechterte sich jenseits der Rauschgrenze.

Die Autorinnen und Autoren betonen eine wesentliche Einschränkung: Die Referenzbewertungen sind nur eine Näherung. Da die verwendete Schweregradskala auch in die Erstellung dieser Bewertungen einging, kann das schlechtere Abschneiden ohne Skala teilweise zirkulär bedingt sein. Die Schlussfolgerungen gelten zudem für die beschriebenen Fehlermuster, Modelle, Datensätze und vollständigen Verlaufsbewertungen; der Bericht belegt damit nicht, dass dieselben Promptbestandteile in anderen Monitoring-Aufgaben gleich wichtig sind.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassung ist im Wesentlichen treu und enthält keine erfundenen Angaben; ihr fehlen vor allem Setup-Details und Belastbarkeitsangaben. Die Einordnung stützt sich nur auf den Bericht; Lunas Stufen und Anteile wurden nicht übernommen, weil der Bericht die meisten Sammelfragen nicht beantwortet.

Im Bericht, aber nicht in der Zusammenfassung

  • Natives Reasoning war in den Standardtests ausgeschaltet, damit der strukturierte Denkanteil vergleichbar bleibt
  • Einzelne Streichungen wirken nicht additiv, Kombinationen können besser oder schlechter ausfallen als die Summe
  • Bei gleicher Länge schnitten verdichtete Prompts (ca. +0,04 MAE) deutlich besser ab als Streichungen (ca. +0,16 bis +0,19 MAE)
  • Ein Rauschniveau von ca. 0,04 MAE und 0,05 Spearman bestimmt, welche Unterschiede als belastbar gelten

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 28 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 18 %gleiches Oberthema, hilft nicht
    • Luna 45 %einzelne zitierbare Belege
    • JEV offen
    • amos 25 %Hintergrund, keine Belege
    • SubQ 33 %gleiches Oberthema, hilft nicht
    • drex 21 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 23 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 24 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 43 %einzelne zitierbare Belege
    • JEV offen
    • amos 26 %Hintergrund, keine Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar? Luna: Stufe 4 · 28 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
Agenten und vernetzte Systeme
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →