Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai29. Oktober 2021 · Q007776

Solving math word problems

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt ein System, das 100 mögliche Lösungen für eine Grundschulaufgabe erzeugt und sie von einem trainierten Prüfer bewerten lässt. Laut den Autoren erzielte es auf GSM8K starke Vergleichsergebnisse, darunter 55 Prozent gegenüber 60 Prozent bei einer kleinen Gruppe von Kindern; die Befunde gelten für den beschriebenen Test, und eine Übertragung auf andere Bereiche wird nicht gezeigt.

Mittel

Der Bericht stellt ein Verfahren vor, das mehrstufige Textaufgaben durch eine Kombination aus Lösungserzeugung und Lösungsprüfung bewältigen soll. Ein Sprachmodell erzeugt 100 Kandidaten; ein eigens trainierter Prüfer bewertet sie und wählt den am höchsten eingestuften aus. Für die Untersuchung entwickelten die Autoren GSM8K mit 8.500 Grundschulaufgaben, die jeweils zwei bis acht Rechenschritte erfordern.

Laut Bericht erreichte das System nahezu die doppelte Genauigkeit eines feinabgestimmten GPT‑3-Modells. Ein Prüfer mit sechs Milliarden Parametern übertraf auf dem vollständigen Trainingsdatensatz ein feinabgestimmtes Modell mit 175 Milliarden Parametern leicht. In einem Test mit einer kleinen Gruppe von 9- bis 12-Jährigen erzielte das System 55 Prozent gegenüber 60 Prozent bei den Kindern. Die Autoren betonen, dass Prüfer größere Datensätze benötigen, da sie sich bei kleinen Trainingsmengen möglicherweise bloß Endergebnisse einprägen. Die Ergebnisse beziehen sich auf GSM8K und den beschriebenen Vergleich; eine Übertragung auf allgemeines Schlussfolgern wird nicht belegt. Die erwartete bessere Skalierung mit mehr Daten ist eine Hochrechnung.

Ausführlich lesen

Der OpenAI-Bericht beschreibt einen Ansatz, mit dem Sprachmodelle Grundschulaufgaben in Textform zuverlässiger lösen sollen. Die Autoren berichten, ihr System erreiche nahezu die doppelte Genauigkeit eines feinabgestimmten GPT‑3-Modells. In einem Test mit einer kleinen Gruppe von 9- bis 12-Jährigen erzielten die Kinder bei Aufgaben aus dem eigenen Datensatz 60 Prozent, das System 55 Prozent. Das Ergebnis liegt damit nahe an diesem Vergleichswert, erreicht ihn aber nicht.

Der Ansatz setzt bei typischen Fehlern mehrstufiger Lösungen an: Ein Modell erzeugt mehrere mögliche Antworten, und ein zusätzlich trainierter Prüfer bewertet, welche davon korrekt sind. Für eine neue Aufgabe erstellt das System laut Bericht 100 Lösungskandidaten und wählt den vom Prüfer am höchsten bewerteten aus. Die Autoren begründen das damit, dass Prüfen leichter sein kann als eine fehlerfreie Lösung von Grund auf zu erzeugen. Als Beispiel zeigen sie eine Aufgabe zur Kapazität zweier Schulen: Eine der dargestellten Verifikationslösungen ist korrekt, während andere Lösungswege Rechen- oder Logikfehler enthalten.

Zur Bewertung entwickelten die Autoren GSM8K, eine Sammlung von 8.500 Textaufgaben. Jede Aufgabe erfordert laut Bericht zwei bis acht Schritte und überwiegend elementare Rechenoperationen. Die Lösungen sind in natürlicher Sprache verfasst, damit sie für Menschen nachvollziehbar bleiben und der Ansatz nicht auf reine mathematische Formeln beschränkt ist. Der Bericht stellt außerdem fest, dass feinabgestimmte Sprachmodelle auf GSM8K wegen der großen Vielfalt der Aufgaben schlecht abschnitten.

Auf dem vollständigen Trainingsdatensatz habe ein Prüfer mit sechs Milliarden Parametern ein feinabgestimmtes Modell mit 175 Milliarden Parametern leicht übertroffen. Die Autoren beziffern den Leistungsgewinn als ungefähr vergleichbar mit einer dreißigfachen Vergrößerung des Modells. Sie berichten auch, dass die Prüfer ausreichend viele Trainingsdaten benötigen: Bei kleineren Datensätzen könnten sie sich nach Einschätzung der Autoren Endergebnisse merken, statt allgemeinere Merkmale guter mathematischer Begründungen zu lernen. Eine stärkere Skalierung mit zusätzlichen Daten wird als Hochrechnung aus den bisherigen Ergebnissen dargestellt, nicht als gesicherter Nachweis.

Der Bericht präsentiert Grundschulmathematik als Prüfstand für die Fähigkeit, Fehler in mehrschrittigen Schlussfolgerungen zu erkennen. Seine Aussagen sind durch den beschriebenen Datensatz, das Testverfahren und den kleinen Kindervergleich begrenzt. Er belegt keine allgemeine menschliche Leistungsfähigkeit oder zuverlässiges Denken in anderen Bereichen; die Autoren erwarten lediglich, dass das Erkennen fehlerhafter Lösungen für komplexere Aufgaben künftig relevant sein könnte.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Beide Zusammenfassungen sind sachlich korrekt und enthalten keine erfundenen Angaben. Die Kurzfassung lässt die zentralen Vergleichszahlen zum GPT-3-Modell und zum 6B-Prüfer aus. Die Einordnung stützt sich nur auf den Berichtstext; Lunas Anteilswerte wurden nicht übernommen.

Im Bericht, aber nicht in der Zusammenfassung

  • Das System erreicht nahezu die doppelte Genauigkeit eines feinabgestimmten GPT-3-Modells.
  • Ein Prüfer mit 6 Mrd. Parametern übertrifft auf dem vollen Trainingsdatensatz ein feinabgestimmtes 175-Mrd.-Modell, was etwa einer 30-fachen Modellgröße entspricht.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 52 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 72 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 56 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 62 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 21 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →