Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai13. April 2022 · Q008266

Measuring Goodhart’s law

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Beitrag analysiert, wie die Optimierung eines leichter messbaren Ersatzmaßes vom eigentlichen Ziel abweichen kann, und untersucht dazu Best-of-n-Sampling. Die Autoren berichten Vorteile bei kleinen Optimierungsschritten, betonen aber den hohen Rechenaufwand bei größeren Schritten und grenzen ihre Analyse auf ein Szenario mit zugänglichem eigentlichem Ziel ein.

Mittel

Der Beitrag untersucht, wie ein messbares Ersatzmaß beim Optimieren vom eigentlichen Ziel abweichen kann – das Kernproblem von Goodharts Gesetz. Als Beispiel nennen die Autoren Reward-Modelle, die menschliche Bewertungen von Antworten vorhersagen. Weil das eigentliche Ziel aufwendig zu messen sei, könnten solche Vorhersagen als Ersatz dienen; trotzdem müsse geprüft werden, ob auch das eigentliche Ziel besser wird. Ob menschliche Präferenzen dieses Ziel korrekt abbilden, klammert der Beitrag aus.

Mathematisch analysiert er Best-of-n-Sampling: Aus mehreren Antworten wird die mit der besten Ersatzbewertung ausgewählt. Die Autoren beschreiben Schätzer für die Leistung beim eigentlichen Ziel und geben für stetige Ausgangsverteilungen eine exakte Formel für die KL-Divergenz an. Bei WebGPT 175B habe Best-of-n im gezeigten Bereich keine starke Überoptimierung gezeigt. Für Zusammenfassungsaufgaben berichten die Autoren, dass bei Reinforcement Learning das eigentliche Ziel in ihren Untersuchungen ab einer KL-Divergenz von etwa 10 Nats abnahm. Best-of-n habe bei kleinen KL-Budgets empirisch besser abgeschnitten, benötige für größere Optimierung aber laut Beitrag sehr viele Stichproben. Die Analyse setzt ein zugängliches, bekanntes eigentliches Ziel voraus; zudem sei Best-of-n nicht zwingend informations-theoretisch optimal.

Ausführlich lesen

Der Beitrag „Measuring Goodhart’s law“ behandelt das Risiko, dass ein messbares Ersatzmaß an Aussagekraft über das eigentliche Ziel verliert, wenn man es stark optimiert. Als Beispiel nennen die Autoren die Ausrichtung von Sprachmodellen: Hilfreiche oder sachlich richtige Antworten seien aufwendig von Menschen zu beurteilen. Deshalb könne ein Reward-Modell menschliche Bewertungen vorhersagen und als leichter messbares Ersatzoptimierungsziel dienen. Entscheidend sei, zugleich zu beobachten, ob sich auch das eigentlich gewünschte Ergebnis verbessert. Die Frage, ob menschliche Präferenzen selbst das wirklich Wichtige erfassen, klammert der Beitrag ausdrücklich aus.

Für die mathematische Untersuchung betrachten die Autoren Best-of-n-Sampling: Aus n Stichproben wählt man diejenige mit der höchsten Bewertung durch das Ersatzmodell. Sie beschreiben dieses Verfahren auch als Rejection Sampling oder Reranking. Der Beitrag berichtet, dass es trotz des zusätzlichen Rechenaufwands zur Laufzeit mit fortgeschritteneren Methoden konkurrieren könne. Als Beispiel wird WebGPT angeführt: Best-of-64 habe dort das Reinforcement-Learning-Modell übertroffen; möglicherweise habe dabei geholfen, dass das Modell mehr Webseiten durchsuchen konnte. Auch Best-of-4 habe die menschlichen Präferenzbewertungen laut Beitrag deutlich verbessert.

Zur Analyse unterscheidet der Artikel zwei Größen: den Erwartungswert des eigentlichen Ziels nach der Optimierung und die KL-Divergenz zwischen der ursprünglichen und der veränderten Verteilung als Maß für das Ausmaß der Optimierung. Für den Erwartungswert beschreiben die Autoren einen Schätzer, der N Stichproben wiederverwendet: Jede Stichprobe wird nach ihrem Rang im Ersatzmaß gewichtet, und anschließend werden die Werte des eigentlichen Ziels gemittelt. Das soll effizienter sein als wiederholt vollständige Best-of-n-Auswahlen durchzuführen und erlaubt Vergleiche für verschiedene n. Für eine stetige Ausgangsverteilung geben die Autoren die KL-Divergenz beim Best-of-n-Verfahren exakt als log(n) minus (n−1)/n an.

Anhand von WebGPT 175B berichtet der Beitrag, dass die Optimierung des Ersatzmaßes im gezeigten Bereich nicht stark über das Ziel hinausgeschossen sei; bei höheren KL-Werten werde eine solche Überoptimierung erwartet. Für größere Optimierungsschritte beschreiben die Autoren Reinforcement Learning als übliche Methode. In den von ihnen untersuchten Fällen, etwa bei Zusammenfassungen, sei das eigentliche Ziel bei einer KL-Divergenz von ungefähr 10 Nats zurückgegangen. Um denselben Wert mit Best-of-n zu erreichen, wären laut Beitrag etwa 60.000 Stichproben nötig. Bei kleinen KL-Budgets habe Best-of-n empirisch sowohl das Ersatzmaß als auch das eigentliche Ziel besser optimiert als Reinforcement Learning; der Beitrag deutet das als informations-theoretischen Vorteil des Brute-Force-Verfahrens bei zugleich höherem Rechenaufwand für große KL-Werte.

Die Ergebnisse sind ausdrücklich begrenzt: Die mathematische Analyse setzt ein sauberes Szenario voraus, in dem das eigentliche Ziel zugänglich ist. Der Artikel räumt ein, dass Präferenzen von Menschen in der Praxis möglicherweise nicht das messen, worauf es tatsächlich ankommt. Zudem ist Best-of-n wegen des logarithmischen Wachstums der KL-Divergenz laut Beitrag vor allem für begrenzte Optimierung geeignet. Die Aussagen zu den verglichenen Verfahren sind empirische Befunde aus den beschriebenen Untersuchungen, keine allgemeine Garantie; eine Fußnote schränkt außerdem ein, dass Best-of-n nicht notwendigerweise informations-theoretisch optimal ist.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassungen (kurz und mittel) wurden gemeinsam geprüft, da das Schema nur ein Zusammenfassungsobjekt vorsieht; die mittlere Fassung ist inhaltlich weitgehend treu, die kurze lässt Kernbefunde weg. Die Abbildungsbeschreibungen enthalten keine inhaltlichen Aussagen zum Thema und wurden nicht ausgewertet.

Im Bericht, aber nicht in der Zusammenfassung

  • WebGPT: Best-of-64 übertraf das Reinforcement-Learning-Modell, und schon Best-of-4 steigerte die menschlichen Präferenzen deutlich.
  • Der Bericht nennt eine Größenordnung: Für einen KL-Wert von etwa 10 Nats bräuchte Best-of-n ein n von rund 60.000.
  • Die KL-Divergenz wächst bei Best-of-n nur logarithmisch mit n; daher eignet sich das Verfahren nur für kleine Optimierungsmengen.
  • Die Schätzer nutzen Stichproben effizienter und erlauben die Wiederverwendung für verschiedene n (Gewichtung über Binomialkoeffizienten, Hockey-Stick-Identität).
  • Die Kurzfassung lässt das Reward-Modell als Proxy für menschliche Präferenzen und die Frage weg, ob menschliche Präferenzen selbst das eigentliche Ziel treffen (vom Bericht ausgeklammert).

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Angabe 'bekanntes' eigentliches Ziel geht über den Bericht hinaus, der nur von Zugang zum wahren Ziel spricht.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 24 %Hintergrund, keine Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 36 %umfangreiche Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 54 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 70 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV 24 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 22 %Hintergrund, keine Belege
    • d3-ultra offen
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 83 %Hintergrund, keine Belege
    • JEV 34 %Hintergrund, keine Belege
    • amos 33 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 46 %umfangreiche Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 59 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 57 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %Hintergrund, keine Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →