Solving math word problems
Zusammenfassung
Kurz
Der Bericht beschreibt ein System, das 100 mögliche Lösungen für eine Grundschulaufgabe erzeugt und sie von einem trainierten Prüfer bewerten lässt. Laut den Autoren erzielte es auf GSM8K starke Vergleichsergebnisse, darunter 55 Prozent gegenüber 60 Prozent bei einer kleinen Gruppe von Kindern; die Befunde gelten für den beschriebenen Test, und eine Übertragung auf andere Bereiche wird nicht gezeigt.
Mittel
Der Bericht stellt ein Verfahren vor, das mehrstufige Textaufgaben durch eine Kombination aus Lösungserzeugung und Lösungsprüfung bewältigen soll. Ein Sprachmodell erzeugt 100 Kandidaten; ein eigens trainierter Prüfer bewertet sie und wählt den am höchsten eingestuften aus. Für die Untersuchung entwickelten die Autoren GSM8K mit 8.500 Grundschulaufgaben, die jeweils zwei bis acht Rechenschritte erfordern.
Laut Bericht erreichte das System nahezu die doppelte Genauigkeit eines feinabgestimmten GPT‑3-Modells. Ein Prüfer mit sechs Milliarden Parametern übertraf auf dem vollständigen Trainingsdatensatz ein feinabgestimmtes Modell mit 175 Milliarden Parametern leicht. In einem Test mit einer kleinen Gruppe von 9- bis 12-Jährigen erzielte das System 55 Prozent gegenüber 60 Prozent bei den Kindern. Die Autoren betonen, dass Prüfer größere Datensätze benötigen, da sie sich bei kleinen Trainingsmengen möglicherweise bloß Endergebnisse einprägen. Die Ergebnisse beziehen sich auf GSM8K und den beschriebenen Vergleich; eine Übertragung auf allgemeines Schlussfolgern wird nicht belegt. Die erwartete bessere Skalierung mit mehr Daten ist eine Hochrechnung.
Ausführlich lesen
Der OpenAI-Bericht beschreibt einen Ansatz, mit dem Sprachmodelle Grundschulaufgaben in Textform zuverlässiger lösen sollen. Die Autoren berichten, ihr System erreiche nahezu die doppelte Genauigkeit eines feinabgestimmten GPT‑3-Modells. In einem Test mit einer kleinen Gruppe von 9- bis 12-Jährigen erzielten die Kinder bei Aufgaben aus dem eigenen Datensatz 60 Prozent, das System 55 Prozent. Das Ergebnis liegt damit nahe an diesem Vergleichswert, erreicht ihn aber nicht.
Der Ansatz setzt bei typischen Fehlern mehrstufiger Lösungen an: Ein Modell erzeugt mehrere mögliche Antworten, und ein zusätzlich trainierter Prüfer bewertet, welche davon korrekt sind. Für eine neue Aufgabe erstellt das System laut Bericht 100 Lösungskandidaten und wählt den vom Prüfer am höchsten bewerteten aus. Die Autoren begründen das damit, dass Prüfen leichter sein kann als eine fehlerfreie Lösung von Grund auf zu erzeugen. Als Beispiel zeigen sie eine Aufgabe zur Kapazität zweier Schulen: Eine der dargestellten Verifikationslösungen ist korrekt, während andere Lösungswege Rechen- oder Logikfehler enthalten.
Zur Bewertung entwickelten die Autoren GSM8K, eine Sammlung von 8.500 Textaufgaben. Jede Aufgabe erfordert laut Bericht zwei bis acht Schritte und überwiegend elementare Rechenoperationen. Die Lösungen sind in natürlicher Sprache verfasst, damit sie für Menschen nachvollziehbar bleiben und der Ansatz nicht auf reine mathematische Formeln beschränkt ist. Der Bericht stellt außerdem fest, dass feinabgestimmte Sprachmodelle auf GSM8K wegen der großen Vielfalt der Aufgaben schlecht abschnitten.
Auf dem vollständigen Trainingsdatensatz habe ein Prüfer mit sechs Milliarden Parametern ein feinabgestimmtes Modell mit 175 Milliarden Parametern leicht übertroffen. Die Autoren beziffern den Leistungsgewinn als ungefähr vergleichbar mit einer dreißigfachen Vergrößerung des Modells. Sie berichten auch, dass die Prüfer ausreichend viele Trainingsdaten benötigen: Bei kleineren Datensätzen könnten sie sich nach Einschätzung der Autoren Endergebnisse merken, statt allgemeinere Merkmale guter mathematischer Begründungen zu lernen. Eine stärkere Skalierung mit zusätzlichen Daten wird als Hochrechnung aus den bisherigen Ergebnissen dargestellt, nicht als gesicherter Nachweis.
Der Bericht präsentiert Grundschulmathematik als Prüfstand für die Fähigkeit, Fehler in mehrschrittigen Schlussfolgerungen zu erkennen. Seine Aussagen sind durch den beschriebenen Datensatz, das Testverfahren und den kleinen Kindervergleich begrenzt. Er belegt keine allgemeine menschliche Leistungsfähigkeit oder zuverlässiges Denken in anderen Bereichen; die Autoren erwarten lediglich, dass das Erkennen fehlerhafter Lösungen für komplexere Aufgaben künftig relevant sein könnte.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Beide Zusammenfassungen sind sachlich korrekt und enthalten keine erfundenen Angaben. Die Kurzfassung lässt die zentralen Vergleichszahlen zum GPT-3-Modell und zum 6B-Prüfer aus. Die Einordnung stützt sich nur auf den Berichtstext; Lunas Anteilswerte wurden nicht übernommen.
Im Bericht, aber nicht in der Zusammenfassung
- Das System erreicht nahezu die doppelte Genauigkeit eines feinabgestimmten GPT-3-Modells.
- Ein Prüfer mit 6 Mrd. Parametern übertrifft auf dem vollen Trainingsdatensatz ein feinabgestimmtes 175-Mrd.-Modell, was etwa einer 30-fachen Modellgröße entspricht.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 52 %einzelne zitierbare Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 72 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 56 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 36 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 21 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 43 %einzelne zitierbare Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 41 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv