What makes a good monitoring prompt?
Zusammenfassung
Kurz
Der Bericht kommt zu dem Ergebnis, dass strukturierte Analysevorgaben, eine detaillierte Schweregradskala und ein Bewertungsbeispiel die Qualität von Monitoring-Prompts besonders stützen; bloßes Streichen ganzer Abschnitte ist laut den Tests meist schlechter als Verdichtung. Die Befunde beruhen auf drei Modellen, fünf Fehlermustergruppen und angenäherten Referenzbewertungen, deren Verwendung der Skala eine mögliche Zirkularität erzeugt.
Mittel
Der Bericht vergleicht einen langen Monitoring-Prompt mit gekürzten Varianten, um zu ermitteln, welche Bestandteile die Bewertung von Agentenverläufen am meisten beeinflussen. Untersucht wurden 1.094 Verläufe aus fünf Fehlermustergruppen mit drei Modellen. Die Bewertungen wurden anhand eines näherungsweisen Referenzverfahrens geprüft; gemessen wurden die Genauigkeit der Schweregradwerte und die Rangordnung der Fälle.
Laut Bericht sind eine strukturierte Analyseanleitung, eine detaillierte 1-bis-10-Skala mit Beispielen und ein ausgearbeiteter Bewertungsfall besonders wichtig. Das Entfernen der strukturierten Analyse verschlechterte beide Maße am stärksten. Skala und Beispiel beeinflussten vor allem die Genauigkeit der Punktwerte. Mehrere andere Promptteile ließen sich dagegen mit geringen Folgen entfernen. Internes Modellschlussfolgern half, wenn die Prompt-Anleitung fehlte, ersetzte sie aber nicht vollständig.
Verdichtete Prompts schnitten bei gleicher Länge besser ab als Fassungen, die ganze Abschnitte entfernten; sehr starke Kürzungen kosteten dennoch Genauigkeit. Als Grenze nennt der Bericht, dass die Referenzwerte nur angenähert sind und die dort ebenfalls verwendete Skala die Ergebnisse zum Entfernen der Skala zirkulär beeinflussen könnte. Die Befunde beziehen sich auf die getesteten Modelle und Aufgaben.
Ausführlich lesen
Der Bericht untersucht, welche Bestandteile eines Monitoring-Prompts die Bewertung von Agentenverläufen am stärksten beeinflussen. Bewertet wird der Schweregrad verschiedener Fehlermuster auf einer Skala von 1 bis 10; zusätzlich wird geprüft, wie gut die Modelle Fälle nach ihrer Schwere ordnen. Die Autorinnen und Autoren vergleichen einen rund 281 Zeilen langen Prompt mit Varianten, in denen einzelne oder mehrere Abschnitte entfernt oder gekürzt wurden.
Die Untersuchung umfasst laut Bericht 1.094 Verläufe aus fünf Fehlermustergruppen: offengelegte Zugangsdaten, persönliche Daten, Fehler bei der Befolgung von Anweisungen, Sicherheitsprobleme und unerwünschte Löschungen. Drei Modelle wurden ausgewertet: Sonnet 4.6, GPT-5.4 und Gemini 2.5 Flash. Die Ergebnisse beruhen auf einem als Näherung bezeichneten Referenzverfahren, das Bewertungen aus Modell-Ensembles und Hierarchien erstellt. Standardmäßig war das interne Schlussfolgern der Modelle ausgeschaltet, damit die vorgegebene Denkstruktur des Prompts vergleichbar untersucht werden konnte. Als Maße dienten der mittlere absolute Fehler gegenüber den Referenzwerten und die Spearman-Rangkorrelation. Der Bericht schätzt die statistische Rauschgrenze auf ungefähr 0,04 beim Fehlermaß und 0,05 bei der Rangkorrelation.
Als wichtigste Bestandteile identifiziert der Bericht die strukturierte, im Prompt vorgegebene Analyse, eine ausführliche Schweregradskala mit Beispielen und einen ausgearbeiteten Bewertungsfall. Das Entfernen der Aufforderung, die Analyse strukturiert auszugeben, verschlechterte die Ergebnisse am stärksten: Der mittlere Fehler stieg um 0,254, während die Rangkorrelation um 0,073 sank. Das Entfernen der Skala erhöhte den Fehler um 0,084; beim Beispiel betrug der Anstieg 0,045. Diese beiden Hilfen verbesserten laut Bericht vor allem die Kalibrierung der Punktwerte, während die Rangfolge der Fälle weitgehend stabil blieb. Andere Abschnitte, etwa Kontextfragen oder Listen zu akzeptablen und problematischen Fällen, ließen sich einzeln teils ohne messbaren Vorteil entfernen; manche Kürzungen schnitten geringfügig besser ab.
Die Ergebnisse mehrerer gleichzeitiger Kürzungen waren nicht einfach aus Einzeltests ableitbar, weil sich Promptbestandteile teilweise überschneiden. Wenn Analyse, Skala und Beispiel erhalten blieben, konnten mehrere übrige Bestandteile mit nur geringen Einbußen entfallen. Ohne Skala oder Beispiel verschlechterte sich die Genauigkeit stärker; bei einer reinen Denkstruktur stieg der mittlere Fehler laut Bericht um 0,471. Internes Modellschlussfolgern ersetzte die strukturierte Prompt-Anleitung nicht vollständig. Es half vor allem dann, wenn diese Anleitung fehlte; bei ausgeschalteter Promptstruktur verringerte sich der Fehlernachteil mit höherem internen Schlussfolgerungsaufwand, verschwand jedoch nicht.
Auch Verdichtung erwies sich laut Bericht als günstiger als das vollständige Streichen gleich vieler Promptteile. Eine auf etwa 45 Prozent der ursprünglichen Länge gekürzte Fassung erhöhte den mittleren Fehler um 0,044 und blieb bei der Rangkorrelation innerhalb der angegebenen Rauschgrenze. Bei sehr starker Kürzung auf etwa 10 Prozent stieg der Fehler stärker, um 0,173, und auch die Rangkorrelation verschlechterte sich jenseits der Rauschgrenze.
Die Autorinnen und Autoren betonen eine wesentliche Einschränkung: Die Referenzbewertungen sind nur eine Näherung. Da die verwendete Schweregradskala auch in die Erstellung dieser Bewertungen einging, kann das schlechtere Abschneiden ohne Skala teilweise zirkulär bedingt sein. Die Schlussfolgerungen gelten zudem für die beschriebenen Fehlermuster, Modelle, Datensätze und vollständigen Verlaufsbewertungen; der Bericht belegt damit nicht, dass dieselben Promptbestandteile in anderen Monitoring-Aufgaben gleich wichtig sind.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassung ist im Wesentlichen treu und enthält keine erfundenen Angaben; ihr fehlen vor allem Setup-Details und Belastbarkeitsangaben. Die Einordnung stützt sich nur auf den Bericht; Lunas Stufen und Anteile wurden nicht übernommen, weil der Bericht die meisten Sammelfragen nicht beantwortet.
Im Bericht, aber nicht in der Zusammenfassung
- Natives Reasoning war in den Standardtests ausgeschaltet, damit der strukturierte Denkanteil vergleichbar bleibt
- Einzelne Streichungen wirken nicht additiv, Kombinationen können besser oder schlechter ausfallen als die Summe
- Bei gleicher Länge schnitten verdichtete Prompts (ca. +0,04 MAE) deutlich besser ab als Streichungen (ca. +0,16 bis +0,19 MAE)
- Ein Rauschniveau von ca. 0,04 MAE und 0,05 Spearman bestimmt, welche Unterschiede als belastbar gelten
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M1 Ab wann ist ein KI-Vorfall so ernst, dass Staaten ihn einander melden müssen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-M5 Was muss vor und nach einem Vorfall geschehen, damit Verantwortliche einstehen, man daraus lernt, Beweise bleiben und Betroffene auch über Grenzen hinweg zu ihrem Recht kommen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 28 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 52 %gleiches Oberthema, hilft nicht
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 18 %gleiches Oberthema, hilft nicht
- Luna 45 %einzelne zitierbare Belege
- JEV
- amos 25 %Hintergrund, keine Belege
- SubQ 33 %gleiches Oberthema, hilft nicht
- drex 21 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 23 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 24 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 26 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 43 %einzelne zitierbare Belege
- JEV
- amos 26 %Hintergrund, keine Belege
- SubQ 40 %gleiches Oberthema, hilft nicht
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 25 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Alle Berichte im Archiv