Improving mathematical reasoning with process supervision
Zusammenfassung
Kurz
Der Bericht behauptet, dass die Bewertung jedes einzelnen Lösungsschritts bei MATH-Aufgaben bessere Ergebnisse erzielt als die Bewertung allein der Endantwort und zugleich nachvollziehbare Lösungswege fördern kann. Ob dieser Vorteil über Mathematik hinaus gilt, ist laut Autorinnen und Autoren unbekannt.
Mittel
Der Bericht vergleicht Ergebnisüberwachung, bei der nur die endgültige Antwort bewertet wird, mit Prozessüberwachung, bei der jeder Schritt einer mathematischen Lösung Rückmeldung erhält. Im MATH-Datensatz lassen die Forschenden mehrere Lösungen pro Aufgabe erzeugen und wählen jeweils die vom Bewertungsmodell am höchsten eingestufte aus. Laut Bericht führt die Prozessüberwachung häufiger zur richtigen Endantwort; ihr Vorsprung wächst, wenn mehr Lösungsvorschläge berücksichtigt werden. Genaue Vergleichswerte nennt der bereitgestellte Text nicht.
Die Autorinnen und Autoren sehen darin auch einen möglichen Vorteil für die Ausrichtung: Die Bewertung einzelner Schritte könne nachvollziehbare, von Menschen gebilligte Lösungswege fördern. Eine reine Endpunktbewertung könne hingegen auch einen problematischen Weg belohnen, wenn die Antwort stimmt. Für Mathematik berichten sie somit von einer besseren Leistung ohne den sonst befürchteten Leistungspreis der Ausrichtung. Als Beispiel dient eine schwierige Trigonometrieaufgabe, bei der laut Text nur 0,1 Prozent der GPT-4-Versuche richtig liegen. Ob sich die Ergebnisse auf andere Bereiche übertragen, ist ausdrücklich offen; dazu sei weitere Forschung nötig.
Ausführlich lesen
Der Bericht vergleicht zwei Verfahren, mit denen ein Sprachmodell mathematische Lösungen bewerten lernen kann. Bei der Ergebnisüberwachung erhält das Bewertungsmodell Rückmeldung dazu, ob die endgültige Antwort stimmt. Bei der Prozessüberwachung wird jeder einzelne Schritt einer Lösung beurteilt. Für den Vergleich verwenden die Autorinnen und Autoren Aufgaben aus dem MATH-Datensatz. Sie lassen mehrere Lösungsvorschläge pro Aufgabe erzeugen und wählen jeweils den Vorschlag aus, den das entsprechende Bewertungsmodell am höchsten einstuft. Gemessen wird, wie häufig die ausgewählten Lösungen zur richtigen Endantwort führen.
Nach Darstellung des Berichts schneidet die prozessüberwachte Bewertung über alle untersuchten Mengen an Lösungsvorschlägen hinweg besser ab als die ergebnisüberwachte. Mit mehr berücksichtigten Lösungen vergrößere sich der Abstand. Die Autorinnen und Autoren deuten das als Hinweis darauf, dass das prozessüberwachte Modell zuverlässiger zwischen guten und schlechten Lösungswegen unterscheiden kann. Konkrete Prozentwerte zum Vergleich enthält der bereitgestellte Text nicht.
Der Bericht führt außerdem mögliche Vorteile für die Ausrichtung von KI-Systemen an: Weil jeder Lösungsschritt beurteilt wird, könne das Modell gezielt für nachvollziehbare, von Menschen gebilligte Argumentationswege belohnt werden. Eine Bewertung nur der Endantwort könne dagegen auch einen problematischen Lösungsweg belohnen, sofern er zum richtigen Ergebnis führt. Die Autorinnen und Autoren vertreten daher die Einschätzung, Prozessüberwachung könne sowohl die Leistung als auch die Ausrichtung verbessern. Für den untersuchten Mathematikbereich sprechen sie von einer negativen „Alignment Tax“: Die sicherer beziehungsweise besser ausgerichtet gedachte Methode gehe hier nicht mit einem Leistungsrückgang einher, sondern mit besserer Leistung.
Als Beispiel beschreibt der Text eine trigonometrische Aufgabe, für die laut Bericht nur 0,1 Prozent der GPT-4-Lösungsversuche die richtige Antwort erreichen. Das Bewertungsmodell erkenne dennoch einen gültigen Lösungsweg. Der Bericht kündigt zehn Aufgaben samt Kommentaren zu Stärken und Schwächen an und nennt die Kategorien „True positives“, „True negatives“ und „False positives“. Im bereitgestellten Text ist eine Aufgabe ausführlich wiedergegeben.
Die Ergebnisse sind ausdrücklich begrenzt: Untersucht wird mathematisches Problemlösen mit dem MATH-Datensatz. Ob sich der Vorteil auf andere Bereiche übertragen lässt, sei unbekannt; der Bericht fordert dazu weitere Forschung. Er kündigt die Veröffentlichung des vollständigen Datensatzes zur Prozessüberwachung an, damit verwandte Forschung möglich wird.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassung gibt den Bericht im Kern treu wieder, es fehlen nur der Datensatz und die Halluzinationsmotivation. Bei der Einordnung hat Luna mehrere Fragen zu hoch bewertet, vor allem SF-V1-T03 mit Stufe 6, weil der Bericht dort nur Leistungsmessungen liefert und keinen Ausrichtungsbeleg.
Im Bericht, aber nicht in der Zusammenfassung
- Die Veröffentlichung des vollständigen Datensatzes zur Prozessüberwachung, mit dem die Forschenden weitere Arbeiten anregen wollen
- Halluzinationen als Ausgangsproblem und das Ziel, auf dem Weg zu einer ausgerichteten AGI Fehlschlüsse zu verringern
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 42 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 30 %Hintergrund, keine Belege
- JEV 47 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 40 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 36 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 32 %gleiches Oberthema, hilft nicht
- Luna 41 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 19 %Hintergrund, keine Belege
- Luna 36 %einzelne zitierbare Belege
- JEV 33 %einzelne zitierbare Belege
- amos 27 %einzelne zitierbare Belege
- SubQ 37 %gleiches Oberthema, hilft nicht
- drex 24 %einzelne zitierbare Belege
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
- SF-V1-T01 Welche beobachtbaren Belege zeigen die Ziele und Werte eines Modells und ob es noch ausgerichtet ist, wenn seine sichtbaren Gedankengänge kein verlässlicher Hinweis mehr darauf sind oder ihre Überwachung nachlässt?
- SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus?
- SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung?
- SF-V1-T04 Wie misst man die Überwachbarkeit des Denkens mit einem gemeinsamen, reproduzierbaren Maßstab, bevor sie versagt, und wie prüft man verlässlich, ob das sichtbare Denken das tatsächliche Vorgehen des Modells treu wiedergibt, auch wenn Modelle lernen, ihre Denkschritte zu optimieren? Und wenn Überwachungsergebnisse beeinflussen, welche Trainingsdaten oder Zwischenstände behalten werden: Wie prüft man, ob diese Auswahl weniger erkennbares Fehlverhalten statt weniger Fehlverhalten begünstigt, auch wenn der Denktext nie direkt bewertet wird?
- SF-V1-T06 Was bedeutet Aufsicht, wenn man das Denken, auf das man sich am meisten verlässt, nicht mehr verlässlich überwachen kann? Und wenn ein Labor die Gedankenkette verbirgt, um sie vor dem Druck zu schützen, der entstünde, wenn sie im Training bewertet würde: Wer kann seine Sicherheitsdarstellung dann noch widerlegen?
- SF-V1-T07 Lieber ein Modell, das immer seinen Lösungsweg zeigen muss, oder eines, das im Stillen mehr kann: Welches Risiko nimmt man in Kauf?
- SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig?
- SF-V1-T11 Wie unterscheidet man bei sich selbst ehrliches von interessegeleitetem Denken, welche Belege für diesen Unterschied würde man von einem Modell akzeptieren, und welcher Test trennt tatsächlich vertretene von nur vorgeführten Werten?
- SF-V1-T13 Wenn sich vorgeführte und tatsächlich vertretene Tugend im Text nicht unterscheiden lassen: Soll der Unterschied trotzdem bestimmen, wie man Modelle baut und regelt?
- SF-V1-T15 Welches messbare Maß für Überwachbarkeit könnte neben Fähigkeitstests stehen, und würden Labore es tatsächlich über weitere Skalierung entscheiden lassen? Welcher gemessene Verlust an Überwachung würde Einschränkungen der Selbstständigkeit eines Modells auslösen, und wie erkennt man Fehler, die im sichtbaren Denken nicht auftauchen?
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 73 %Hintergrund, keine Belege
- JEV 36 %Hintergrund, keine Belege
- amos 33 %Hintergrund, keine Belege
- SubQ 40 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt?
- SF-V3-T02 Wie macht man die Ausrichtung eines Modells an Werten zu prüfbaren Verhaltensregeln statt zu angestrebten menschlichen Eigenschaften wie der „Liebe zur Menschheit“?
- SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat?
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 28 %Hintergrund, keine Belege
- JEV 44 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 58 %einzelne zitierbare Belege
- JEV 37 %beantwortet teilweise oder widerspricht
- amos 27 %Hintergrund, keine Belege
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 34 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 30 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 38 %gleiches Oberthema, hilft nicht
- JEV 33 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 30 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 45 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %Hintergrund, keine Belege
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv