Fine-tuning experiments on CoT controllability
Zusammenfassung
Kurz
METR berichtet, dass geringes Fine-Tuning bei vier Modellen die Befolgung von Vorgaben für Denkspuren verbesserte: Im CoTControl-Test stieg der Durchschnitt laut Bericht von 2,9 auf 8,8 Prozent, blieb aber niedrig und variierte stark nach Modell und Anweisung. Ob dadurch die Überwachbarkeit sinkt oder sich Effekte auf mehrstufige beziehungsweise agentische Systeme übertragen, wurde nicht gezeigt.
Mittel
Der METR-Bericht prüft, ob wenig Fine-Tuning Modelle dazu bringen kann, ausdrückliche Vorgaben für ihre Denkspuren besser zu befolgen. Vier Modelle wurden jeweils mit Datensätzen aus rund 240 bis 950 Beispielen trainiert. Die Beispiele kombinierten Aufgaben mit ReasonIF-Anweisungen; die Denkspuren wurden für das Training nachträglich an diese Vorgaben angepasst. Bewertet wurde auf ReasonIF und einem Teil von CoTControl.
Laut METR stieg die durchschnittliche Befolgung auf CoTControl über die vier Modelle von 2,9 auf 8,8 Prozent. Besonders verbesserten sich Vorgaben zu Groß- und Kleinschreibung, Wortunterdrückung und dem Einfügen bestimmter Sätze. Die Werte blieben insgesamt niedrig und unterschieden sich je nach Modell und Anweisung. Auf ReasonIF waren die Zuwächse gleichmäßiger, mit Ausnahmen wie dem Ignorieren einer Frage oder einer Wortzahlbegrenzung. Die Genauigkeit bei den Aufgaben entwickelte sich gemischt.
Der Bericht wertet dies als frühen Hinweis, dass geringe Optimierung die Steuerbarkeit erhöhen kann. Er zeigt jedoch keinen Rückgang der Überwachbarkeit; Auswirkungen auf mehrstufige oder agentische Systeme sind ungeklärt. Auch die Ähnlichkeit der beiden Tests könnte die Übertragbarkeit beeinflussen.
Ausführlich lesen
Der METR-Bericht untersucht, ob sich die Steuerbarkeit von Denkspuren („Chain of Thought“, CoT) durch wenig gezieltes Fine-Tuning erhöhen lässt. Gemeint ist hier, ob Modelle promptbasierten Vorgaben dazu folgen, wie ihre Begründung aussehen soll, etwa in einer bestimmten Sprache oder Schreibweise, ohne bestimmte Wörter oder mit vorgegebenen Formulierungen. Die Frage ist sicherheitsrelevant, weil gut steuerbare Denkspuren laut Bericht möglicherweise leichter so gestaltet werden könnten, dass sie Überwachungssystemen weniger auffallen. Die Autorinnen und Autoren betonen zugleich, dass sie in dieser Arbeit nur die Befolgung expliziter Anweisungen untersuchen.
Für GPT-OSS-20B, GPT-OSS-120B, Qwen-3-8B und Qwen-3-32B erstellte das Team jeweils Fine-Tuning-Daten. Ausgangspunkt waren Aufgaben aus Multilingual Thinking und Anweisungen aus dem ReasonIF-Test. Zunächst erzeugten die Modelle Antworten ohne solche Anweisungen; anschließend wurden die Denkspuren so bearbeitet, dass sie den Vorgaben entsprachen. Pro Modell umfasste das Training rund 950 Beispiele. Bewertet wurde die Befolgung auf ReasonIF sowie auf einem auf 900 QA-Beispiele beschränkten Teil des CoTControl-Tests. Die erste Auswertung erfolgte nach 240 Trainingsbeispielen.
METR berichtet, dass die Befolgung auf ReasonIF bei allen vier Modellen zunahm und sich auch auf CoTControl verbesserte. Über die vier Modelle hinweg stieg die dortige durchschnittliche Steuerbarkeit laut Zusammenfassung von 2,9 auf 8,8 Prozent. Der absolute Wert blieb damit niedrig. Besonders deutliche Zuwächse zeigten sich bei Vorgaben zu Groß- und Kleinschreibung, zum Unterdrücken bestimmter Wörter und zum Einfügen bestimmter Sätze. Die Ergebnisse variierten jedoch je nach Modell und Anweisungstyp. Auf ReasonIF waren die Verbesserungen laut Bericht gleichmäßiger; Ausnahmen waren unter anderem Anweisungen, eine Frage zu ignorieren oder die Begründung auf eine bestimmte Wortzahl zu begrenzen, bei denen die Befolgung sank. Die Befolgungsrate nahm mit höherem Reasoning-Aufwand ab. Größere Modelle schnitten in den Basismessungen tendenziell besser ab; ob sie stärker vom Fine-Tuning profitierten, bleibt nach Einschätzung des Teams unsicher.
Die Beispiele zeigen sowohl Erfolge als auch Rückschritte: Ein feinabgestimmtes GPT-OSS-120B erfüllte etwa eine Vorgabe zum Denken auf Französisch und zum Wiederholen eines Satzes besser als das Basismodell. In einem anderen Beispiel missachtete das feinabgestimmte Modell eine Anweisung, eine Frage nicht zu behandeln. Weitere Beispiele verdeutlichen, dass Modelle Vorgaben teilweise nur annähernd oder gar nicht befolgten. Laut Anhang hatte das Fine-Tuning zudem gemischte Auswirkungen auf die Aufgabenrichtigkeit; Meta-Kommentare über die Anweisungen gingen im Allgemeinen zurück.
Der Bericht versteht die Ergebnisse als frühen Hinweis, dass geringe Optimierung die Steuerbarkeit von Denkspuren erhöhen kann und entsprechende Fähigkeiten womöglich bereits latent vorhanden sind. Die Grenzen sind erheblich: Das gezielte Fine-Tuning sei als Trainingsszenario für führende KI-Labore möglicherweise unrealistisch; ein Rückgang der Überwachbarkeit wurde nicht nachgewiesen; Folgen in mehrstufigen oder agentischen Situationen sind offen. Zudem könnten ReasonIF und CoTControl einander ähnlicher sein, als der Begriff „außerhalb der Verteilung“ nahelegt. Entfernt man eine besonders ähnliche Anweisungsart, sinkt der berichtete durchschnittliche Zuwachs allerdings nur von 5,9 auf 5,0 Prozent. Die Autorinnen und Autoren weisen außerdem auf mögliche Messunsicherheit hin, etwa bei Korrelationen, die nur anhand von elf Modellen berechnet wurden.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat zwei Zusammenfassungen (kurz und mittel) geliefert; beide wurden gemeinsam bewertet. Die kurze ist sauber, die mittlere hat die Fehlzuordnung und lässt die Grenzen der Übertragbarkeit und die Realismus-Einschränkung aus. Die Einordnung der Teilfragen war leer, daher wurden nur die drei Sammelfragen in der angegebenen Reihenfolge bewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Der Bericht sieht die Fähigkeit als wahrscheinlich bereits im Modell angelegt, nicht als neu erlernt
- Die Setup-Einschränkung: Labore fine-tunen kaum direkt auf Steuerbarkeit, das Szenario ist also wenig realistisch
- Die Vermutung, geringer Optimierungsdruck im normalen Training könne Steuerbarkeit ungewollt erhöhen
- Der Vergleich mit OpenAI-Werten (GPT-5 2,6 %, GPT-5.1 6,0 %, GPT-5.2 15,4 %)
- Der schwache Zusammenhang zwischen Modellgröße und Steuerbarkeit
- Die Einschränkung, dass Wirkung auf die Überwachbarkeit noch in künftiger Arbeit geprüft wird
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Im mittleren Text wird ignore_question als Ausnahme bei ReasonIF genannt, im Bericht ist es aber eine CoTControl-Anweisung
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 41 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 22 %Hintergrund, keine Belege
- Luna 54 %Hintergrund, keine Belege
- JEV 45 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 31 %gleiches Oberthema, hilft nicht
- d3-ultra 57 %gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 71 %Hintergrund, keine Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 47 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 19 %Hintergrund, keine Belege
- Luna 72 %Hintergrund, keine Belege
- JEV 23 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 39 %gleiches Oberthema, hilft nicht
- drex 22 %Hintergrund, keine Belege
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 22 %Hintergrund, keine Belege
- Luna 47 %Hintergrund, keine Belege
- JEV 26 %einzelne zitierbare Belege
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 28 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 26 %einzelne zitierbare Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 59 %einzelne zitierbare Belege
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 63 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %Hintergrund, keine Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %Hintergrund, keine Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- Alle Berichte im Archiv