Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
fragen-fundeohne Datum · Q009480

Monitoring Monitorability

arxiv.org · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Auszug besteht aus der arXiv-Seite mit Abstract und Metadaten, nicht aus dem vollständigen Bericht. Laut Abstract lässt sich die Überwachbarkeit von KI-Modellen mit verschiedenen Prüfarten messen und durch längere Gedankengänge, mehr Rechenaufwand für den Monitor, CoT-Zugriff und Rückfragen verbessern; sie bleibt jedoch unvollständig, und konkrete Versuchsdetails fehlen.

Mittel

Der bereitgestellte Text ist die arXiv-Seite mit Abstract und Metadaten, nicht der vollständige Bericht. Der Abstract untersucht, wie zuverlässig sich das Denken und Verhalten leistungsfähiger KI-Modelle überwachen lässt. Die Autorinnen und Autoren schlagen dafür drei Evaluationsarten vor – Eingriffe, Prozessprüfungen und Prüfungen von Ergebniseigenschaften – sowie eine neue Kennzahl und Evaluationssuite. Laut Abstract können diese einfache Modelle mit absichtlich verschleiertem Gedankengang erkennen; die Überwachung des Gedankengangs sei in praktischen Fällen wirksamer als die bloße Beobachtung von Aktionen.

Die untersuchten Modelle seien überwiegend, aber nicht vollständig, überwachbar. Längere Gedankengänge gingen im Allgemeinen mit besserer Überwachbarkeit einher; bestärkendes Lernen habe sie auf dem untersuchten Leistungsniveau nicht wesentlich verringert. Ein kleineres Modell mit höherem Denkaufwand könne bei vergleichbaren Fähigkeiten besser überwachbar sein, koste aber mehr Rechenaufwand. Auch mehr Inferenz-Rechenzeit für einen schwächeren Monitor, Zugriff auf den Gedankengang sowie Rückfragen an das Modell hätten laut Abstract Vorteile. Versuchsdetails, konkrete Messwerte und Grenzen der Übertragbarkeit sind im Auszug nicht enthalten.

Ausführlich lesen

Der bereitgestellte Quelltext enthält die arXiv-Seite mit dem Abstract und bibliografischen Angaben, nicht den vollständigen Bericht. Die folgenden Aussagen fassen daher nur das Abstract zusammen; Einzelheiten zu Versuchsaufbau, Daten und Auswertung sind darin nicht enthalten.

Der Beitrag „Monitoring Monitorability“ behandelt die Frage, ob sich das Denken und Verhalten leistungsfähiger KI-Systeme zuverlässig überwachen lässt. Laut Abstract kann Einblick in die Entscheidungsfindung für einen sicheren Einsatz zunehmend leistungsfähiger Agenten wichtig sein. Die Überwachung von Gedankengängen („Chain of Thought“, CoT) habe sich bereits als hilfreich erwiesen, um Fehlverhalten zu erkennen. Ihre Zuverlässigkeit könne jedoch durch Trainingsverfahren, Datenquellen und weiteres Skalieren beeinträchtigt werden.

Um diese Überwachbarkeit messbar zu machen und im Zeitverlauf verfolgen zu können, schlagen die Autorinnen und Autoren drei Arten von Evaluationen vor: Eingriffe in das Modell, Prüfungen des Denkprozesses und Prüfungen von Eigenschaften der Ergebnisse. Außerdem führen sie eine neue Kennzahl und eine breit angelegte Evaluationssuite ein. Nach Darstellung des Abstracts können diese Prüfungen einfache Modellorganismen erkennen, deren CoT gezielt verschleiert wurde. In praktischen Szenarien sei die Überwachung des CoT wirksamer als eine Überwachung, die nur ausgeführte Aktionen berücksichtigt.

Der Abstract berichtet, dass die untersuchten fortgeschrittenen Modelle überwiegend, aber nicht vollständig, überwachbar seien. Längere CoT gingen im Allgemeinen mit höherer Überwachbarkeit einher. Die untersuchte Optimierung mittels bestärkenden Lernens habe diese auf dem aktuellen Leistungsniveau nicht wesentlich verringert. Für ein Modell mit geringem Denkaufwand könne laut Abstract ein kleineres Modell mit höherem Denkaufwand ähnliche Fähigkeiten bei besserer Überwachbarkeit bieten, allerdings um den Preis höherer Gesamtrechenkosten zur Laufzeit.

Weitere berichtete Ergebnisse betreffen die Überwachung eines leistungsfähigen Agenten durch einen schwächeren Monitor: Mehr Rechenaufwand des Monitors zur Inferenzzeit erhöhe die Überwachbarkeit. Zugriff auf den CoT des Agenten verbessere sie ebenfalls und verstärke den Zusammenhang zwischen zusätzlichem Monitor-Rechenaufwand und Überwachbarkeit. Schließlich berichten die Autorinnen und Autoren, dass Rückfragen an ein Modell und die Weitergabe der dabei entstehenden CoT an den Monitor die Überwachbarkeit verbessern können.

Die Aussagen sind auf die im Abstract beschriebenen Untersuchungen beschränkt. Der Auszug nennt weder konkrete Modelle, Datensätze, Zahlenwerte noch Versuchsdetails; daraus lässt sich daher nicht beurteilen, wie groß die Effekte sind oder wie breit sie außerhalb der untersuchten Bedingungen gelten.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 28 %Hintergrund, keine Belege
    • Luna 32 %gleiches Oberthema, hilft nicht
    • JEV offen
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 27 %Hintergrund, keine Belege
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 29 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 25 %Hintergrund, keine Belege
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV offen
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht

  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %Hintergrund, keine Belege
    • Luna 45 %einzelne zitierbare Belege
    • JEV offen
    • amos 29 %einzelne zitierbare Belege
    • SubQ 27 %einzelne zitierbare Belege
    • drex 29 %Hintergrund, keine Belege
    • d3-ultra 35 %Hintergrund, keine Belege

    • SF-P3-T01 Welcher gemeinsame Rahmen für Labore macht Selbstüberwachung überprüfbar, ohne geschütztes geistiges Eigentum offenzulegen, und welche unabhängigen Verfahren Dritter, falls es sie gibt, bestätigen, dass die Selbstüberwachung riskantes Verhalten vor der Freigabe wirklich findet und nicht nur Schein ist? Luna: Stufe 4 · 29 % · einzelne zitierbare Belege
    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 4 · 36 % · einzelne zitierbare Belege
    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
  4. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 27 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 27 %Hintergrund, keine Belege
    • Luna 41 %Hintergrund, keine Belege
    • JEV offen
    • amos 30 %Hintergrund, keine Belege
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 4 · 45 % · einzelne zitierbare Belege
    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 34 %Hintergrund, keine Belege
    • Luna 42 %Hintergrund, keine Belege
    • JEV offen
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 63 %gleiches Oberthema, hilft nicht
    • drex 63 %gleiches Oberthema, hilft nicht
    • d3-ultra 64 %gleiches Oberthema, hilft nicht

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 20 %Hintergrund, keine Belege
    • Luna 46 %Hintergrund, keine Belege
    • JEV offen
    • amos 28 %einzelne zitierbare Belege
    • SubQ 30 %einzelne zitierbare Belege
    • drex 25 %einzelne zitierbare Belege
    • d3-ultra 30 %Hintergrund, keine Belege

    • SF-V1-T01 Welche beobachtbaren Belege zeigen die Ziele und Werte eines Modells und ob es noch ausgerichtet ist, wenn seine sichtbaren Gedankengänge kein verlässlicher Hinweis mehr darauf sind oder ihre Überwachung nachlässt? Luna: Stufe 4 · 34 % · einzelne zitierbare Belege
    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 5 · 39 % · umfangreiche Belege
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
    • SF-V1-T04 Wie misst man die Überwachbarkeit des Denkens mit einem gemeinsamen, reproduzierbaren Maßstab, bevor sie versagt, und wie prüft man verlässlich, ob das sichtbare Denken das tatsächliche Vorgehen des Modells treu wiedergibt, auch wenn Modelle lernen, ihre Denkschritte zu optimieren? Und wenn Überwachungsergebnisse beeinflussen, welche Trainingsdaten oder Zwischenstände behalten werden: Wie prüft man, ob diese Auswahl weniger erkennbares Fehlverhalten statt weniger Fehlverhalten begünstigt, auch wenn der Denktext nie direkt bewertet wird? Luna: Stufe 6 · 43 % · beantwortet teilweise oder widerspricht
    • SF-V1-T06 Was bedeutet Aufsicht, wenn man das Denken, auf das man sich am meisten verlässt, nicht mehr verlässlich überwachen kann? Und wenn ein Labor die Gedankenkette verbirgt, um sie vor dem Druck zu schützen, der entstünde, wenn sie im Training bewertet würde: Wer kann seine Sicherheitsdarstellung dann noch widerlegen? Luna: Stufe 6 · 36 % · beantwortet teilweise oder widerspricht
    • SF-V1-T07 Lieber ein Modell, das immer seinen Lösungsweg zeigen muss, oder eines, das im Stillen mehr kann: Welches Risiko nimmt man in Kauf? Luna: Stufe 6 · 42 % · beantwortet teilweise oder widerspricht
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 4 · 40 % · einzelne zitierbare Belege
    • SF-V1-T15 Welches messbare Maß für Überwachbarkeit könnte neben Fähigkeitstests stehen, und würden Labore es tatsächlich über weitere Skalierung entscheiden lassen? Welcher gemessene Verlust an Überwachung würde Einschränkungen der Selbstständigkeit eines Modells auslösen, und wie erkennt man Fehler, die im sichtbaren Denken nicht auftauchen? Luna: Stufe 4 · 41 % · einzelne zitierbare Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 22 %Hintergrund, keine Belege
    • Luna 47 %Hintergrund, keine Belege
    • JEV offen
    • amos 29 %Hintergrund, keine Belege
    • SubQ 25 %gleiches Oberthema, hilft nicht
    • drex 23 %Hintergrund, keine Belege
    • d3-ultra 46 %gleiches Oberthema, hilft nicht

    • SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 24 %Hintergrund, keine Belege
    • Luna 49 %einzelne zitierbare Belege
    • JEV offen
    • amos 29 %Hintergrund, keine Belege
    • SubQ 31 %gleiches Oberthema, hilft nicht
    • drex 32 %Hintergrund, keine Belege
    • d3-ultra 40 %gleiches Oberthema, hilft nicht

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
    • SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar? Luna: Stufe 6 · 42 % · beantwortet teilweise oder widerspricht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 29 %Hintergrund, keine Belege
    • Luna 43 %Hintergrund, keine Belege
    • JEV offen
    • amos 26 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 36 %Hintergrund, keine Belege
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 28 %gleiches Oberthema, hilft nicht
    • Luna 40 %Hintergrund, keine Belege
    • JEV offen
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 72 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV offen
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 73 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht

Beteiligung und Gemeinwohl
Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →