Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai31. Mai 2023 · Q008092

Improving mathematical reasoning with process supervision

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht behauptet, dass die Bewertung jedes einzelnen Lösungsschritts bei MATH-Aufgaben bessere Ergebnisse erzielt als die Bewertung allein der Endantwort und zugleich nachvollziehbare Lösungswege fördern kann. Ob dieser Vorteil über Mathematik hinaus gilt, ist laut Autorinnen und Autoren unbekannt.

Mittel

Der Bericht vergleicht Ergebnisüberwachung, bei der nur die endgültige Antwort bewertet wird, mit Prozessüberwachung, bei der jeder Schritt einer mathematischen Lösung Rückmeldung erhält. Im MATH-Datensatz lassen die Forschenden mehrere Lösungen pro Aufgabe erzeugen und wählen jeweils die vom Bewertungsmodell am höchsten eingestufte aus. Laut Bericht führt die Prozessüberwachung häufiger zur richtigen Endantwort; ihr Vorsprung wächst, wenn mehr Lösungsvorschläge berücksichtigt werden. Genaue Vergleichswerte nennt der bereitgestellte Text nicht.

Die Autorinnen und Autoren sehen darin auch einen möglichen Vorteil für die Ausrichtung: Die Bewertung einzelner Schritte könne nachvollziehbare, von Menschen gebilligte Lösungswege fördern. Eine reine Endpunktbewertung könne hingegen auch einen problematischen Weg belohnen, wenn die Antwort stimmt. Für Mathematik berichten sie somit von einer besseren Leistung ohne den sonst befürchteten Leistungspreis der Ausrichtung. Als Beispiel dient eine schwierige Trigonometrieaufgabe, bei der laut Text nur 0,1 Prozent der GPT-4-Versuche richtig liegen. Ob sich die Ergebnisse auf andere Bereiche übertragen, ist ausdrücklich offen; dazu sei weitere Forschung nötig.

Ausführlich lesen

Der Bericht vergleicht zwei Verfahren, mit denen ein Sprachmodell mathematische Lösungen bewerten lernen kann. Bei der Ergebnisüberwachung erhält das Bewertungsmodell Rückmeldung dazu, ob die endgültige Antwort stimmt. Bei der Prozessüberwachung wird jeder einzelne Schritt einer Lösung beurteilt. Für den Vergleich verwenden die Autorinnen und Autoren Aufgaben aus dem MATH-Datensatz. Sie lassen mehrere Lösungsvorschläge pro Aufgabe erzeugen und wählen jeweils den Vorschlag aus, den das entsprechende Bewertungsmodell am höchsten einstuft. Gemessen wird, wie häufig die ausgewählten Lösungen zur richtigen Endantwort führen.

Nach Darstellung des Berichts schneidet die prozessüberwachte Bewertung über alle untersuchten Mengen an Lösungsvorschlägen hinweg besser ab als die ergebnisüberwachte. Mit mehr berücksichtigten Lösungen vergrößere sich der Abstand. Die Autorinnen und Autoren deuten das als Hinweis darauf, dass das prozessüberwachte Modell zuverlässiger zwischen guten und schlechten Lösungswegen unterscheiden kann. Konkrete Prozentwerte zum Vergleich enthält der bereitgestellte Text nicht.

Der Bericht führt außerdem mögliche Vorteile für die Ausrichtung von KI-Systemen an: Weil jeder Lösungsschritt beurteilt wird, könne das Modell gezielt für nachvollziehbare, von Menschen gebilligte Argumentationswege belohnt werden. Eine Bewertung nur der Endantwort könne dagegen auch einen problematischen Lösungsweg belohnen, sofern er zum richtigen Ergebnis führt. Die Autorinnen und Autoren vertreten daher die Einschätzung, Prozessüberwachung könne sowohl die Leistung als auch die Ausrichtung verbessern. Für den untersuchten Mathematikbereich sprechen sie von einer negativen „Alignment Tax“: Die sicherer beziehungsweise besser ausgerichtet gedachte Methode gehe hier nicht mit einem Leistungsrückgang einher, sondern mit besserer Leistung.

Als Beispiel beschreibt der Text eine trigonometrische Aufgabe, für die laut Bericht nur 0,1 Prozent der GPT-4-Lösungsversuche die richtige Antwort erreichen. Das Bewertungsmodell erkenne dennoch einen gültigen Lösungsweg. Der Bericht kündigt zehn Aufgaben samt Kommentaren zu Stärken und Schwächen an und nennt die Kategorien „True positives“, „True negatives“ und „False positives“. Im bereitgestellten Text ist eine Aufgabe ausführlich wiedergegeben.

Die Ergebnisse sind ausdrücklich begrenzt: Untersucht wird mathematisches Problemlösen mit dem MATH-Datensatz. Ob sich der Vorteil auf andere Bereiche übertragen lässt, sei unbekannt; der Bericht fordert dazu weitere Forschung. Er kündigt die Veröffentlichung des vollständigen Datensatzes zur Prozessüberwachung an, damit verwandte Forschung möglich wird.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassung gibt den Bericht im Kern treu wieder, es fehlen nur der Datensatz und die Halluzinationsmotivation. Bei der Einordnung hat Luna mehrere Fragen zu hoch bewertet, vor allem SF-V1-T03 mit Stufe 6, weil der Bericht dort nur Leistungsmessungen liefert und keinen Ausrichtungsbeleg.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Veröffentlichung des vollständigen Datensatzes zur Prozessüberwachung, mit dem die Forschenden weitere Arbeiten anregen wollen
  • Halluzinationen als Ausgangsproblem und das Ziel, auf dem Weg zu einer ausgerichteten AGI Fehlschlüsse zu verringern

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 47 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 32 %gleiches Oberthema, hilft nicht
    • Luna 41 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 19 %Hintergrund, keine Belege
    • Luna 36 %einzelne zitierbare Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 27 %einzelne zitierbare Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 24 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-V1-T01 Welche beobachtbaren Belege zeigen die Ziele und Werte eines Modells und ob es noch ausgerichtet ist, wenn seine sichtbaren Gedankengänge kein verlässlicher Hinweis mehr darauf sind oder ihre Überwachung nachlässt? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 4 · 31 % · einzelne zitierbare Belege
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 6 · 43 % · beantwortet teilweise oder widerspricht · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-V1-T04 Wie misst man die Überwachbarkeit des Denkens mit einem gemeinsamen, reproduzierbaren Maßstab, bevor sie versagt, und wie prüft man verlässlich, ob das sichtbare Denken das tatsächliche Vorgehen des Modells treu wiedergibt, auch wenn Modelle lernen, ihre Denkschritte zu optimieren? Und wenn Überwachungsergebnisse beeinflussen, welche Trainingsdaten oder Zwischenstände behalten werden: Wie prüft man, ob diese Auswahl weniger erkennbares Fehlverhalten statt weniger Fehlverhalten begünstigt, auch wenn der Denktext nie direkt bewertet wird? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
    • SF-V1-T06 Was bedeutet Aufsicht, wenn man das Denken, auf das man sich am meisten verlässt, nicht mehr verlässlich überwachen kann? Und wenn ein Labor die Gedankenkette verbirgt, um sie vor dem Druck zu schützen, der entstünde, wenn sie im Training bewertet würde: Wer kann seine Sicherheitsdarstellung dann noch widerlegen? Luna: Stufe 4 · 35 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-V1-T07 Lieber ein Modell, das immer seinen Lösungsweg zeigen muss, oder eines, das im Stillen mehr kann: Welches Risiko nimmt man in Kauf? Luna: Stufe 4 · 33 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 4 · 31 % · einzelne zitierbare Belege
    • SF-V1-T11 Wie unterscheidet man bei sich selbst ehrliches von interessegeleitetem Denken, welche Belege für diesen Unterschied würde man von einem Modell akzeptieren, und welcher Test trennt tatsächlich vertretene von nur vorgeführten Werten? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-V1-T13 Wenn sich vorgeführte und tatsächlich vertretene Tugend im Text nicht unterscheiden lassen: Soll der Unterschied trotzdem bestimmen, wie man Modelle baut und regelt? Luna: Stufe 4 · 27 % · einzelne zitierbare Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 73 %Hintergrund, keine Belege
    • JEV 36 %Hintergrund, keine Belege
    • amos 33 %Hintergrund, keine Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
    • SF-V3-T02 Wie macht man die Ausrichtung eines Modells an Werten zu prüfbaren Verhaltensregeln statt zu angestrebten menschlichen Eigenschaften wie der „Liebe zur Menschheit“? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 58 %einzelne zitierbare Belege
    • JEV 37 %beantwortet teilweise oder widerspricht
    • amos 27 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 38 %gleiches Oberthema, hilft nicht
    • JEV 33 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %Hintergrund, keine Belege
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →