Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr1. April 2026 · Q001785

Fine-tuning experiments on CoT controllability

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

METR berichtet, dass geringes Fine-Tuning bei vier Modellen die Befolgung von Vorgaben für Denkspuren verbesserte: Im CoTControl-Test stieg der Durchschnitt laut Bericht von 2,9 auf 8,8 Prozent, blieb aber niedrig und variierte stark nach Modell und Anweisung. Ob dadurch die Überwachbarkeit sinkt oder sich Effekte auf mehrstufige beziehungsweise agentische Systeme übertragen, wurde nicht gezeigt.

Mittel

Der METR-Bericht prüft, ob wenig Fine-Tuning Modelle dazu bringen kann, ausdrückliche Vorgaben für ihre Denkspuren besser zu befolgen. Vier Modelle wurden jeweils mit Datensätzen aus rund 240 bis 950 Beispielen trainiert. Die Beispiele kombinierten Aufgaben mit ReasonIF-Anweisungen; die Denkspuren wurden für das Training nachträglich an diese Vorgaben angepasst. Bewertet wurde auf ReasonIF und einem Teil von CoTControl.

Laut METR stieg die durchschnittliche Befolgung auf CoTControl über die vier Modelle von 2,9 auf 8,8 Prozent. Besonders verbesserten sich Vorgaben zu Groß- und Kleinschreibung, Wortunterdrückung und dem Einfügen bestimmter Sätze. Die Werte blieben insgesamt niedrig und unterschieden sich je nach Modell und Anweisung. Auf ReasonIF waren die Zuwächse gleichmäßiger, mit Ausnahmen wie dem Ignorieren einer Frage oder einer Wortzahlbegrenzung. Die Genauigkeit bei den Aufgaben entwickelte sich gemischt.

Der Bericht wertet dies als frühen Hinweis, dass geringe Optimierung die Steuerbarkeit erhöhen kann. Er zeigt jedoch keinen Rückgang der Überwachbarkeit; Auswirkungen auf mehrstufige oder agentische Systeme sind ungeklärt. Auch die Ähnlichkeit der beiden Tests könnte die Übertragbarkeit beeinflussen.

Ausführlich lesen

Der METR-Bericht untersucht, ob sich die Steuerbarkeit von Denkspuren („Chain of Thought“, CoT) durch wenig gezieltes Fine-Tuning erhöhen lässt. Gemeint ist hier, ob Modelle promptbasierten Vorgaben dazu folgen, wie ihre Begründung aussehen soll, etwa in einer bestimmten Sprache oder Schreibweise, ohne bestimmte Wörter oder mit vorgegebenen Formulierungen. Die Frage ist sicherheitsrelevant, weil gut steuerbare Denkspuren laut Bericht möglicherweise leichter so gestaltet werden könnten, dass sie Überwachungssystemen weniger auffallen. Die Autorinnen und Autoren betonen zugleich, dass sie in dieser Arbeit nur die Befolgung expliziter Anweisungen untersuchen.

Für GPT-OSS-20B, GPT-OSS-120B, Qwen-3-8B und Qwen-3-32B erstellte das Team jeweils Fine-Tuning-Daten. Ausgangspunkt waren Aufgaben aus Multilingual Thinking und Anweisungen aus dem ReasonIF-Test. Zunächst erzeugten die Modelle Antworten ohne solche Anweisungen; anschließend wurden die Denkspuren so bearbeitet, dass sie den Vorgaben entsprachen. Pro Modell umfasste das Training rund 950 Beispiele. Bewertet wurde die Befolgung auf ReasonIF sowie auf einem auf 900 QA-Beispiele beschränkten Teil des CoTControl-Tests. Die erste Auswertung erfolgte nach 240 Trainingsbeispielen.

METR berichtet, dass die Befolgung auf ReasonIF bei allen vier Modellen zunahm und sich auch auf CoTControl verbesserte. Über die vier Modelle hinweg stieg die dortige durchschnittliche Steuerbarkeit laut Zusammenfassung von 2,9 auf 8,8 Prozent. Der absolute Wert blieb damit niedrig. Besonders deutliche Zuwächse zeigten sich bei Vorgaben zu Groß- und Kleinschreibung, zum Unterdrücken bestimmter Wörter und zum Einfügen bestimmter Sätze. Die Ergebnisse variierten jedoch je nach Modell und Anweisungstyp. Auf ReasonIF waren die Verbesserungen laut Bericht gleichmäßiger; Ausnahmen waren unter anderem Anweisungen, eine Frage zu ignorieren oder die Begründung auf eine bestimmte Wortzahl zu begrenzen, bei denen die Befolgung sank. Die Befolgungsrate nahm mit höherem Reasoning-Aufwand ab. Größere Modelle schnitten in den Basismessungen tendenziell besser ab; ob sie stärker vom Fine-Tuning profitierten, bleibt nach Einschätzung des Teams unsicher.

Die Beispiele zeigen sowohl Erfolge als auch Rückschritte: Ein feinabgestimmtes GPT-OSS-120B erfüllte etwa eine Vorgabe zum Denken auf Französisch und zum Wiederholen eines Satzes besser als das Basismodell. In einem anderen Beispiel missachtete das feinabgestimmte Modell eine Anweisung, eine Frage nicht zu behandeln. Weitere Beispiele verdeutlichen, dass Modelle Vorgaben teilweise nur annähernd oder gar nicht befolgten. Laut Anhang hatte das Fine-Tuning zudem gemischte Auswirkungen auf die Aufgabenrichtigkeit; Meta-Kommentare über die Anweisungen gingen im Allgemeinen zurück.

Der Bericht versteht die Ergebnisse als frühen Hinweis, dass geringe Optimierung die Steuerbarkeit von Denkspuren erhöhen kann und entsprechende Fähigkeiten womöglich bereits latent vorhanden sind. Die Grenzen sind erheblich: Das gezielte Fine-Tuning sei als Trainingsszenario für führende KI-Labore möglicherweise unrealistisch; ein Rückgang der Überwachbarkeit wurde nicht nachgewiesen; Folgen in mehrstufigen oder agentischen Situationen sind offen. Zudem könnten ReasonIF und CoTControl einander ähnlicher sein, als der Begriff „außerhalb der Verteilung“ nahelegt. Entfernt man eine besonders ähnliche Anweisungsart, sinkt der berichtete durchschnittliche Zuwachs allerdings nur von 5,9 auf 5,0 Prozent. Die Autorinnen und Autoren weisen außerdem auf mögliche Messunsicherheit hin, etwa bei Korrelationen, die nur anhand von elf Modellen berechnet wurden.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna hat zwei Zusammenfassungen (kurz und mittel) geliefert; beide wurden gemeinsam bewertet. Die kurze ist sauber, die mittlere hat die Fehlzuordnung und lässt die Grenzen der Übertragbarkeit und die Realismus-Einschränkung aus. Die Einordnung der Teilfragen war leer, daher wurden nur die drei Sammelfragen in der angegebenen Reihenfolge bewertet.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Bericht sieht die Fähigkeit als wahrscheinlich bereits im Modell angelegt, nicht als neu erlernt
  • Die Setup-Einschränkung: Labore fine-tunen kaum direkt auf Steuerbarkeit, das Szenario ist also wenig realistisch
  • Die Vermutung, geringer Optimierungsdruck im normalen Training könne Steuerbarkeit ungewollt erhöhen
  • Der Vergleich mit OpenAI-Werten (GPT-5 2,6 %, GPT-5.1 6,0 %, GPT-5.2 15,4 %)
  • Der schwache Zusammenhang zwischen Modellgröße und Steuerbarkeit
  • Die Einschränkung, dass Wirkung auf die Überwachbarkeit noch in künftiger Arbeit geprüft wird

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Im mittleren Text wird ignore_question als Ausnahme bei ReasonIF genannt, im Bericht ist es aber eine CoTControl-Anweisung

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 34 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %Hintergrund, keine Belege
    • Luna 54 %Hintergrund, keine Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 71 %Hintergrund, keine Belege
    • JEV 35 %gleiches Oberthema, hilft nicht
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 47 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 62 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 19 %Hintergrund, keine Belege
    • Luna 72 %Hintergrund, keine Belege
    • JEV 23 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 22 %Hintergrund, keine Belege
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 22 %Hintergrund, keine Belege
    • Luna 47 %Hintergrund, keine Belege
    • JEV 26 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 28 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 26 %einzelne zitierbare Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 59 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 63 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %Hintergrund, keine Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %Hintergrund, keine Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →