Measuring Goodhart’s law
Zusammenfassung
Kurz
Der Beitrag analysiert, wie die Optimierung eines leichter messbaren Ersatzmaßes vom eigentlichen Ziel abweichen kann, und untersucht dazu Best-of-n-Sampling. Die Autoren berichten Vorteile bei kleinen Optimierungsschritten, betonen aber den hohen Rechenaufwand bei größeren Schritten und grenzen ihre Analyse auf ein Szenario mit zugänglichem eigentlichem Ziel ein.
Mittel
Der Beitrag untersucht, wie ein messbares Ersatzmaß beim Optimieren vom eigentlichen Ziel abweichen kann – das Kernproblem von Goodharts Gesetz. Als Beispiel nennen die Autoren Reward-Modelle, die menschliche Bewertungen von Antworten vorhersagen. Weil das eigentliche Ziel aufwendig zu messen sei, könnten solche Vorhersagen als Ersatz dienen; trotzdem müsse geprüft werden, ob auch das eigentliche Ziel besser wird. Ob menschliche Präferenzen dieses Ziel korrekt abbilden, klammert der Beitrag aus.
Mathematisch analysiert er Best-of-n-Sampling: Aus mehreren Antworten wird die mit der besten Ersatzbewertung ausgewählt. Die Autoren beschreiben Schätzer für die Leistung beim eigentlichen Ziel und geben für stetige Ausgangsverteilungen eine exakte Formel für die KL-Divergenz an. Bei WebGPT 175B habe Best-of-n im gezeigten Bereich keine starke Überoptimierung gezeigt. Für Zusammenfassungsaufgaben berichten die Autoren, dass bei Reinforcement Learning das eigentliche Ziel in ihren Untersuchungen ab einer KL-Divergenz von etwa 10 Nats abnahm. Best-of-n habe bei kleinen KL-Budgets empirisch besser abgeschnitten, benötige für größere Optimierung aber laut Beitrag sehr viele Stichproben. Die Analyse setzt ein zugängliches, bekanntes eigentliches Ziel voraus; zudem sei Best-of-n nicht zwingend informations-theoretisch optimal.
Ausführlich lesen
Der Beitrag „Measuring Goodhart’s law“ behandelt das Risiko, dass ein messbares Ersatzmaß an Aussagekraft über das eigentliche Ziel verliert, wenn man es stark optimiert. Als Beispiel nennen die Autoren die Ausrichtung von Sprachmodellen: Hilfreiche oder sachlich richtige Antworten seien aufwendig von Menschen zu beurteilen. Deshalb könne ein Reward-Modell menschliche Bewertungen vorhersagen und als leichter messbares Ersatzoptimierungsziel dienen. Entscheidend sei, zugleich zu beobachten, ob sich auch das eigentlich gewünschte Ergebnis verbessert. Die Frage, ob menschliche Präferenzen selbst das wirklich Wichtige erfassen, klammert der Beitrag ausdrücklich aus.
Für die mathematische Untersuchung betrachten die Autoren Best-of-n-Sampling: Aus n Stichproben wählt man diejenige mit der höchsten Bewertung durch das Ersatzmodell. Sie beschreiben dieses Verfahren auch als Rejection Sampling oder Reranking. Der Beitrag berichtet, dass es trotz des zusätzlichen Rechenaufwands zur Laufzeit mit fortgeschritteneren Methoden konkurrieren könne. Als Beispiel wird WebGPT angeführt: Best-of-64 habe dort das Reinforcement-Learning-Modell übertroffen; möglicherweise habe dabei geholfen, dass das Modell mehr Webseiten durchsuchen konnte. Auch Best-of-4 habe die menschlichen Präferenzbewertungen laut Beitrag deutlich verbessert.
Zur Analyse unterscheidet der Artikel zwei Größen: den Erwartungswert des eigentlichen Ziels nach der Optimierung und die KL-Divergenz zwischen der ursprünglichen und der veränderten Verteilung als Maß für das Ausmaß der Optimierung. Für den Erwartungswert beschreiben die Autoren einen Schätzer, der N Stichproben wiederverwendet: Jede Stichprobe wird nach ihrem Rang im Ersatzmaß gewichtet, und anschließend werden die Werte des eigentlichen Ziels gemittelt. Das soll effizienter sein als wiederholt vollständige Best-of-n-Auswahlen durchzuführen und erlaubt Vergleiche für verschiedene n. Für eine stetige Ausgangsverteilung geben die Autoren die KL-Divergenz beim Best-of-n-Verfahren exakt als log(n) minus (n−1)/n an.
Anhand von WebGPT 175B berichtet der Beitrag, dass die Optimierung des Ersatzmaßes im gezeigten Bereich nicht stark über das Ziel hinausgeschossen sei; bei höheren KL-Werten werde eine solche Überoptimierung erwartet. Für größere Optimierungsschritte beschreiben die Autoren Reinforcement Learning als übliche Methode. In den von ihnen untersuchten Fällen, etwa bei Zusammenfassungen, sei das eigentliche Ziel bei einer KL-Divergenz von ungefähr 10 Nats zurückgegangen. Um denselben Wert mit Best-of-n zu erreichen, wären laut Beitrag etwa 60.000 Stichproben nötig. Bei kleinen KL-Budgets habe Best-of-n empirisch sowohl das Ersatzmaß als auch das eigentliche Ziel besser optimiert als Reinforcement Learning; der Beitrag deutet das als informations-theoretischen Vorteil des Brute-Force-Verfahrens bei zugleich höherem Rechenaufwand für große KL-Werte.
Die Ergebnisse sind ausdrücklich begrenzt: Die mathematische Analyse setzt ein sauberes Szenario voraus, in dem das eigentliche Ziel zugänglich ist. Der Artikel räumt ein, dass Präferenzen von Menschen in der Praxis möglicherweise nicht das messen, worauf es tatsächlich ankommt. Zudem ist Best-of-n wegen des logarithmischen Wachstums der KL-Divergenz laut Beitrag vor allem für begrenzte Optimierung geeignet. Die Aussagen zu den verglichenen Verfahren sind empirische Befunde aus den beschriebenen Untersuchungen, keine allgemeine Garantie; eine Fußnote schränkt außerdem ein, dass Best-of-n nicht notwendigerweise informations-theoretisch optimal ist.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassungen (kurz und mittel) wurden gemeinsam geprüft, da das Schema nur ein Zusammenfassungsobjekt vorsieht; die mittlere Fassung ist inhaltlich weitgehend treu, die kurze lässt Kernbefunde weg. Die Abbildungsbeschreibungen enthalten keine inhaltlichen Aussagen zum Thema und wurden nicht ausgewertet.
Im Bericht, aber nicht in der Zusammenfassung
- WebGPT: Best-of-64 übertraf das Reinforcement-Learning-Modell, und schon Best-of-4 steigerte die menschlichen Präferenzen deutlich.
- Der Bericht nennt eine Größenordnung: Für einen KL-Wert von etwa 10 Nats bräuchte Best-of-n ein n von rund 60.000.
- Die KL-Divergenz wächst bei Best-of-n nur logarithmisch mit n; daher eignet sich das Verfahren nur für kleine Optimierungsmengen.
- Die Schätzer nutzen Stichproben effizienter und erlauben die Wiederverwendung für verschiedene n (Gewichtung über Binomialkoeffizienten, Hockey-Stick-Identität).
- Die Kurzfassung lässt das Reward-Modell als Proxy für menschliche Präferenzen und die Frage weg, ob menschliche Präferenzen selbst das eigentliche Ziel treffen (vom Bericht ausgeklammert).
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Angabe 'bekanntes' eigentliches Ziel geht über den Bericht hinaus, der nur von Zugang zum wahren Ziel spricht.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 24 %Hintergrund, keine Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 58 %Hintergrund, keine Belege
- JEV 36 %umfangreiche Belege
- amos 30 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 31 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 37 %einzelne zitierbare Belege
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 70 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 24 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 22 %Hintergrund, keine Belege
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 83 %Hintergrund, keine Belege
- JEV 34 %Hintergrund, keine Belege
- amos 33 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 61 %Hintergrund, keine Belege
- JEV 46 %umfangreiche Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 59 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 42 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 57 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %Hintergrund, keine Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv