Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch6. Juni 2025 · Q006513

Beyond benchmark scores: analyzing o3-mini’s mathematical reasoning

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

14 Mathematikerinnen und Mathematiker bewerteten 29 Denkverläufe von o3-mini-high: 13 Antworten waren korrekt, und das Modell zeigte breite mathematische Kenntnis. Als Schwächen nennt der Beitrag unpräzise oder unbelegte Schritte, begrenzte Kreativität sowie Halluzinationen in rund 75 Prozent der Verläufe; die Ergebnisse stammen allerdings aus einer begrenzten OpenAI-Auswertung, deren Code und Werkzeuge Epoch AI nicht vorlagen.

Mittel

Ein Beitrag von Epoch AI fasst die Einschätzungen von 14 Mathematikerinnen und Mathematikern zu 29 ungefilterten Denkverläufen von o3-mini-high bei FrontierMath-Aufgaben zusammen. Das Modell löste 13 Aufgaben korrekt. Die Begutachtenden bescheinigten ihm große mathematische Belesenheit: In rund zwei Dritteln der Fälle bewerteten sie das Heranziehen relevanter mathematischer Ergebnisse mit mindestens 3 von 5 Punkten.

Sein Vorgehen erschien oft informell und erkundend, aber nicht ausreichend präzise. Mitunter stellte das Modell eine richtige Vermutung auf, ohne sie zu beweisen, und gelangte so zur Antwort. Dieses „Cheesing“ trat bei einer beträchtlichen Minderheit der richtigen Lösungen auf. Als zentrale Schwächen nannten die Fachleute mangelnde Kreativität und Tiefe: Das Modell erkenne passendes Wissen, könne es jedoch oft nicht eigenständig weiterentwickeln. Rund 75 Prozent der untersuchten Verläufe enthielten Halluzinationen; bei falschen Lösungen waren nur etwa 18 Prozent nahe am richtigen Ergebnis. Einschätzungen zur Menschenähnlichkeit des Denkens fielen unterschiedlich aus.

Die Befunde gelten für eine begrenzte OpenAI-Auswertung mit eigenem Gerüst. Epoch AI sah weder alle Verläufe noch den Auswertungscode oder die verwendeten Werkzeuge; die Resultate können daher von eigenen Benchmark-Messungen abweichen.

Ausführlich lesen

Der Bericht untersucht, wie o3-mini-high mathematische Aufgaben bearbeitet und worin seine Stärken und Schwächen liegen. Dafür ließen die Autoren 14 Mathematikerinnen und Mathematiker 29 rohe, ungekürzte Denkverläufe des Modells zu FrontierMath-Aufgaben beurteilen. In 13 Fällen gab das Modell eine richtige Antwort.

Die Begutachtenden beschrieben das Modell als sehr belesen und fachlich breit aufgestellt. Es konnte häufig passende mathematische Sätze und Methoden heranziehen: Bei ungefähr zwei Dritteln der Verläufe bewerteten die Mathematikerinnen und Mathematiker diese Fähigkeit mit mindestens 3 von 5 Punkten. Die Autoren betonen, dass dies nicht bloß auf auswendig gelerntes Wissen hindeute, da das Modell auch bei absichtlich verschleierten Lösungsansätzen oft relevante Ergebnisse fand.

Der Denkstil wirkte vielfach informell und explorativ. Einige Begutachtende sahen darin eine gewisse Neugier und die Bereitschaft, mit einfachen Beispielen oder Rechnungen Fortschritte zu suchen. Zugleich fehlten oft Genauigkeit und formale Begründungen. Teilweise stellte das Modell eine plausible Vermutung auf und verwendete sie, ohne sie zu beweisen. Die Autoren nennen dies „Cheesing“: Das Modell erreicht eine richtige Antwort, ohne den vorgesehenen Lösungsweg vollständig auszuführen. Das kam unter den richtigen Antworten in einer beträchtlichen Minderheit der Fälle vor; häufiger löste das Modell die Aufgabe den Begutachtenden zufolge ohne dieses Problem.

Als größere Einschränkung hoben die Mathematikerinnen und Mathematiker mangelnde Kreativität und fehlende Tiefe im Verständnis hervor. Das Modell erkannte einschlägige Literatur und bevorzugte Lösungsansätze, schien diese aber oft nicht eigenständig weiterentwickeln oder auf neue Weise anwenden zu können. Bei falschen Antworten war das Modell nur in etwa 18 Prozent der Fälle nahe an einer korrekten Lösung. Außerdem enthielten rund 75 Prozent der untersuchten Denkverläufe Halluzinationen, etwa falsch erinnerte Begriffe oder Formeln. Auch erfundene Internetadressen bei Suchversuchen wurden berichtet.

Wie menschenähnlich das Denken wirkte, beurteilten die Fachleute unterschiedlich. Das Modell zeigte teils menschlich wirkende Neugier und prüfte mehrere Ansätze, fiel aber auch durch lange, wiederholende Überlegungen und Unsicherheit bei der endgültigen Antwort auf. Die Autoren weisen darauf hin, dass die vollständigen inneren Denkverläufe von Menschen nicht vergleichbar sichtbar sind; zudem untersuchte die Befragung nicht, wie zuverlässig die ausgegebenen Begründungen das tatsächliche Vorgehen wiedergeben.

Die Ergebnisse beruhen auf einer von OpenAI durchgeführten Auswertung einer Teilmenge von FrontierMath mit einem eigenen Gerüst. Epoch AI erhielt die ungefilterten Verläufe, hatte aber weder Zugriff auf sämtliche Verläufe noch auf den verwendeten Code und die Werkzeuge. Die gemessene Leistung kann deshalb von Epochs eigenen Benchmark-Ergebnissen abweichen. Der Beitrag stellt die Einschätzungen der beteiligten Autoren dar und beansprucht nicht, die Position von Epoch AI insgesamt wiederzugeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassung ist im Kern treu; die kurze Fassung lässt das Cheesing aus, das die mittlere Fassung nennt. Das Urteil bezieht sich auf die mittlere Fassung, da das Schema nur eine Zusammenfassung vorsieht.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Halluzination betraf auch Werkzeugnutzung: das Modell versuchte, Informationen von erfundenen URLs abzurufen
  • Die Wortreichtum-Schleife bei der Abgabe der Endantwort wurde nicht erwähnt

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 51 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 67 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 21 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 57 %Hintergrund, keine Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 67 %Hintergrund, keine Belege
    • JEV 63 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 24 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →