Beyond benchmark scores: analyzing o3-mini’s mathematical reasoning
Zusammenfassung
Kurz
14 Mathematikerinnen und Mathematiker bewerteten 29 Denkverläufe von o3-mini-high: 13 Antworten waren korrekt, und das Modell zeigte breite mathematische Kenntnis. Als Schwächen nennt der Beitrag unpräzise oder unbelegte Schritte, begrenzte Kreativität sowie Halluzinationen in rund 75 Prozent der Verläufe; die Ergebnisse stammen allerdings aus einer begrenzten OpenAI-Auswertung, deren Code und Werkzeuge Epoch AI nicht vorlagen.
Mittel
Ein Beitrag von Epoch AI fasst die Einschätzungen von 14 Mathematikerinnen und Mathematikern zu 29 ungefilterten Denkverläufen von o3-mini-high bei FrontierMath-Aufgaben zusammen. Das Modell löste 13 Aufgaben korrekt. Die Begutachtenden bescheinigten ihm große mathematische Belesenheit: In rund zwei Dritteln der Fälle bewerteten sie das Heranziehen relevanter mathematischer Ergebnisse mit mindestens 3 von 5 Punkten.
Sein Vorgehen erschien oft informell und erkundend, aber nicht ausreichend präzise. Mitunter stellte das Modell eine richtige Vermutung auf, ohne sie zu beweisen, und gelangte so zur Antwort. Dieses „Cheesing“ trat bei einer beträchtlichen Minderheit der richtigen Lösungen auf. Als zentrale Schwächen nannten die Fachleute mangelnde Kreativität und Tiefe: Das Modell erkenne passendes Wissen, könne es jedoch oft nicht eigenständig weiterentwickeln. Rund 75 Prozent der untersuchten Verläufe enthielten Halluzinationen; bei falschen Lösungen waren nur etwa 18 Prozent nahe am richtigen Ergebnis. Einschätzungen zur Menschenähnlichkeit des Denkens fielen unterschiedlich aus.
Die Befunde gelten für eine begrenzte OpenAI-Auswertung mit eigenem Gerüst. Epoch AI sah weder alle Verläufe noch den Auswertungscode oder die verwendeten Werkzeuge; die Resultate können daher von eigenen Benchmark-Messungen abweichen.
Ausführlich lesen
Der Bericht untersucht, wie o3-mini-high mathematische Aufgaben bearbeitet und worin seine Stärken und Schwächen liegen. Dafür ließen die Autoren 14 Mathematikerinnen und Mathematiker 29 rohe, ungekürzte Denkverläufe des Modells zu FrontierMath-Aufgaben beurteilen. In 13 Fällen gab das Modell eine richtige Antwort.
Die Begutachtenden beschrieben das Modell als sehr belesen und fachlich breit aufgestellt. Es konnte häufig passende mathematische Sätze und Methoden heranziehen: Bei ungefähr zwei Dritteln der Verläufe bewerteten die Mathematikerinnen und Mathematiker diese Fähigkeit mit mindestens 3 von 5 Punkten. Die Autoren betonen, dass dies nicht bloß auf auswendig gelerntes Wissen hindeute, da das Modell auch bei absichtlich verschleierten Lösungsansätzen oft relevante Ergebnisse fand.
Der Denkstil wirkte vielfach informell und explorativ. Einige Begutachtende sahen darin eine gewisse Neugier und die Bereitschaft, mit einfachen Beispielen oder Rechnungen Fortschritte zu suchen. Zugleich fehlten oft Genauigkeit und formale Begründungen. Teilweise stellte das Modell eine plausible Vermutung auf und verwendete sie, ohne sie zu beweisen. Die Autoren nennen dies „Cheesing“: Das Modell erreicht eine richtige Antwort, ohne den vorgesehenen Lösungsweg vollständig auszuführen. Das kam unter den richtigen Antworten in einer beträchtlichen Minderheit der Fälle vor; häufiger löste das Modell die Aufgabe den Begutachtenden zufolge ohne dieses Problem.
Als größere Einschränkung hoben die Mathematikerinnen und Mathematiker mangelnde Kreativität und fehlende Tiefe im Verständnis hervor. Das Modell erkannte einschlägige Literatur und bevorzugte Lösungsansätze, schien diese aber oft nicht eigenständig weiterentwickeln oder auf neue Weise anwenden zu können. Bei falschen Antworten war das Modell nur in etwa 18 Prozent der Fälle nahe an einer korrekten Lösung. Außerdem enthielten rund 75 Prozent der untersuchten Denkverläufe Halluzinationen, etwa falsch erinnerte Begriffe oder Formeln. Auch erfundene Internetadressen bei Suchversuchen wurden berichtet.
Wie menschenähnlich das Denken wirkte, beurteilten die Fachleute unterschiedlich. Das Modell zeigte teils menschlich wirkende Neugier und prüfte mehrere Ansätze, fiel aber auch durch lange, wiederholende Überlegungen und Unsicherheit bei der endgültigen Antwort auf. Die Autoren weisen darauf hin, dass die vollständigen inneren Denkverläufe von Menschen nicht vergleichbar sichtbar sind; zudem untersuchte die Befragung nicht, wie zuverlässig die ausgegebenen Begründungen das tatsächliche Vorgehen wiedergeben.
Die Ergebnisse beruhen auf einer von OpenAI durchgeführten Auswertung einer Teilmenge von FrontierMath mit einem eigenen Gerüst. Epoch AI erhielt die ungefilterten Verläufe, hatte aber weder Zugriff auf sämtliche Verläufe noch auf den verwendeten Code und die Werkzeuge. Die gemessene Leistung kann deshalb von Epochs eigenen Benchmark-Ergebnissen abweichen. Der Beitrag stellt die Einschätzungen der beteiligten Autoren dar und beansprucht nicht, die Position von Epoch AI insgesamt wiederzugeben.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassung ist im Kern treu; die kurze Fassung lässt das Cheesing aus, das die mittlere Fassung nennt. Das Urteil bezieht sich auf die mittlere Fassung, da das Schema nur eine Zusammenfassung vorsieht.
Im Bericht, aber nicht in der Zusammenfassung
- Die Halluzination betraf auch Werkzeugnutzung: das Modell versuchte, Informationen von erfundenen URLs abzurufen
- Die Wortreichtum-Schleife bei der Abgabe der Endantwort wurde nicht erwähnt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 51 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 56 %Hintergrund, keine Belege
- JEV 21 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 29 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 59 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 57 %Hintergrund, keine Belege
- JEV 34 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 67 %Hintergrund, keine Belege
- JEV 63 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 35 %nur am Rande erwähnt
- JEV 61 %nur am Rande erwähnt
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 31 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv