Evaluating Grok 4’s math capabilities
Zusammenfassung
Kurz
Laut Epoch erreicht Grok 4 bei mittelschweren Wettbewerbsaufgaben einen knappen Spitzenwert, vor allem durch zuverlässigeres, umfangreiches Durchrechnen. Bei anspruchsvollen Beweisen und Forschungsaufgaben bleibt es laut Autor fehleranfällig; zudem sind manche Ergebnisse wegen interner Benotung, Promptwahl und begrenzter Testabdeckung nur eingeschränkt vergleichbar.
Mittel
Epoch-Autor Greg Burnham bewertet Grok 4 anhand von Wettbewerbsaufgaben, FrontierMath, ausgewählten Beispielen und Einschätzungen zweier Mathematiker. Er weist darauf hin, dass die Untersuchung mathematische Tätigkeiten wie das Entwickeln neuer Vermutungen nicht umfassend messen kann.
Bei mittelschweren Schulwettbewerbsaufgaben erreicht Grok 4 laut den ausgewerteten Benchmarks 88 Prozent und damit knapp mehr als frühere Spitzenmodelle. Der Fortschritt bestehe vor allem darin, umfangreiche Rechnungen zuverlässiger auszuführen; konzeptionelle Abkürzungen finde das Modell selten. Python-Ergebnisse für Wettbewerbe, die ohne Hilfsmittel gedacht sind, hält der Autor für nicht aussagekräftig. Auch xAIs intern bewertete USAMO-Ergebnisse seien schwer vergleichbar. Grok 4 Heavy zeigte laut xAI Fortschritte bei Beweisen, doch Burnham fand Fehler in den geprüften Lösungen. Grok 4 schnitt bei der IMO schwach ab, wobei Prompt und Auswahlverfahren die Ergebnisse beeinflussten. Mathematiker beschrieben seine Beweise als lückenhaft und teils überzeugend, aber falsch.
Auf FrontierMath erzielte Grok 4 in zwei Läufen 14 und 12 Prozent; Epoch bewertet diese Werte als statistisch nicht unterscheidbar. In einfachen Beispielen erkannte Grok manchmal eigene Fehler, machte aber weiterhin auch grundlegende Fehler. Burnham sieht Grok 4 an der damaligen Leistungsspitze, jedoch noch weit von verlässlicher mathematischer Forschungsarbeit entfernt. Die Benchmarks erfassen zudem nicht alle wichtigen mathematischen Fähigkeiten.
Ausführlich lesen
Der Bericht von Epoch AI untersucht die mathematischen Fähigkeiten von Grok 4 und Grok 4 Heavy. Autor Greg Burnham stützt sich auf Benchmarkdaten, ausgewählte Aufgaben und Einschätzungen zweier Mathematiker. Die Untersuchung war von xAI beauftragt und vergütet; Epoch gibt an, die redaktionelle Kontrolle behalten zu haben. Der Autor betont, dass verfügbare Tests wichtige mathematische Tätigkeiten wie das Entwickeln interessanter Vermutungen oder das Übertragen von Methoden zwischen Fachgebieten nicht erfassen.
Bei mittelschweren Aufgaben aus AIME, HMMT und OTIS Mock AIME erreicht Grok 4 laut den herangezogenen Auswertungen mit 88 Prozent einen neuen Bestwert, gegenüber zuvor 85 Prozent für Gemini 2.5 Pro und o4-mini (high). Burnham beschreibt den Fortschritt vor allem als zuverlässigeres und ausdauernderes „Durchrechnen“: Das Modell löse umfangreiche Rechnungen, greife aber oft nicht zu den kürzeren, konzeptionellen Wegen, die Menschen finden können. Von 105 Aufgaben in den drei Wettbewerben sei laut MathArena und Epoch nur bei vier noch kein Modell erfolgreich gewesen. Der Autor erwartet, dass diese Aufgabenkategorie bald weitgehend ausgeschöpft sein könnte. Ergebnisse mit Python-Werkzeugen seien für AIME und HMMT ungeeignet, weil diese Wettbewerbe Aufgaben ohne solche Hilfsmittel vorsehen. Außerdem erschwere xAIs interne Bewertung der USAMO-Ergebnisse den Vergleich mit unabhängig und einheitlich benoteten Resultaten.
Bei Beweisaufgaben sieht Burnham Fortschritte, aber weiterhin große Grenzen. xAI zufolge erzielte Grok 4 Heavy bei der USAMO 2025 62 Prozent. Eine eingesehene Lösung zu einem schwierigen Problem gehe weiter als frühere Modellversuche, enthalte aber mindestens einen logischen Fehler; eine weitere Lösung weise laut Autor einen Fehler auf, weil sie die Zuteilung von Bruchteilen statt ganzer Cupcakes beweise. Bei der IMO-Bewertung durch MathArena schnitt Grok 4 in zwei Prompt-Varianten schwach ab: Die berichteten Werte lagen bei 12 beziehungsweise 21 Prozent, und keine einzelne Antwort erreichte mehr als 3 von 7 Punkten. Der veränderte Prompt macht den Vergleich weniger direkt. Burnham hält fest, dass Aufforderung und Auswahlverfahren einen großen Unterschied machen können. Zwei konsultierte Mathematiker bewerteten Groks Beweisarbeit ungefähr auf dem Niveau führender Modelle, aber für Forschungsarbeit als unzureichend: Sie sahen Lücken, zu knappe Begründungen und überzeugend wirkende, dennoch falsche Beweise.
Auf FrontierMath erreichte Grok 4 in zwei Läufen 14 und 12 Prozent. Epoch wertet die Werte als statistisch nicht unterscheidbar und ordnet das Modell dort, abgesehen von o4-mini, vor den übrigen getesteten Modellen ein. In den anspruchsvollsten Tier-4-Aufgaben löste Grok 4 eine von 48; andere Modelle hatten diese Aufgabe bereits gelöst. Die Auswertung war zudem durch ein Tokenlimit begrenzt und unterstützte keine Websuche.
Weitere Beispiele zeigen ein gemischtes Bild: Grok 4 erkannte ein ungewöhnliches Geometrieproblem in sechs von zehn API-Versuchen korrekt und korrigierte manchmal zunächst plausible Ansätze. Es machte aber auch einfache Fehler und scheiterte in zehn Versuchen an einer Aufgabe, die eine ungewöhnliche Strategie verlangt. Insgesamt sieht Burnham Grok 4 an der Spitze der damaligen KI-Mathematik, mit einem klaren, aber begrenzten Fortschritt. Die getesteten Fähigkeiten entsprächen noch nicht der Arbeit eines Mathematikers; ob weiteres Skalieren oder andere Methoden nötig sind, lässt der Bericht offen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas drei Zusammenfassungen (kurz, mittel und die Fassung ohne Bezeichnung) wurden gemeinsam geprüft: Sie geben den Bericht sachlich treu wieder, lassen aber mehrere Befunde aus. Die Einordnung bezieht sich auf die Fragen in der Eingabe, die den Bericht über Grok 4 nur am Rande berühren, da er vor allem Fähigkeiten in Mathematik bewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Epoch wurde von xAI beauftragt und bezahlt, behielt aber die volle redaktionelle Kontrolle
- Grok 4 erreichte bei FrontierMath vor allen anderen getesteten Modellen außer o4-mini die besten Werte, und Epoch sah darin nur einen geringen Vorsprung
- Grok 4 löste sechs FrontierMath-Aufgaben, die kein anderes getestetes Modell gelöst hatte; von 48 Tier-4-Aufgaben löste es nur eine, die bereits andere Modelle gelöst hatten
- Bei der Turbo-Schnecken-Aufgabe (IMO 2024) lag Grok 4 in allen zehn Versuchen falsch; richtige Endergebnisse entstanden mit ungültiger Strategie
- Grok 4 nutzt bei Geometrieaufgaben fast immer Koordinaten statt räumlicher Intuition, und der Autor sieht darin ein nicht menschenähnliches Denken
- Bei der Tetraeder-Aufgabe gab Grok 4 nur in 6 von 10 Versuchen die richtige Beschreibung
- Die Grok-Lösung zur Cupcake-Aufgabe wendete einen geometrischen Satz falsch an und bewies nur die Variante mit Bruchteilen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 26 %Hintergrund, keine Belege
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 34 %beantwortet teilweise oder widerspricht
- amos 27 %Hintergrund, keine Belege
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %beantwortet teilweise oder widerspricht
- amos 26 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 19 %Hintergrund, keine Belege
- Luna 50 %einzelne zitierbare Belege
- JEV 38 %einzelne zitierbare Belege
- amos 31 %einzelne zitierbare Belege
- SubQ 31 %gleiches Oberthema, hilft nicht
- drex 31 %einzelne zitierbare Belege
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 21 %Hintergrund, keine Belege
- Luna 53 %einzelne zitierbare Belege
- JEV 55 %beantwortet teilweise oder widerspricht
- amos 34 %einzelne zitierbare Belege
- SubQ 26 %gleiches Oberthema, hilft nicht
- drex 46 %einzelne zitierbare Belege
- d3-ultra 40 %einzelne zitierbare Belege
- Haiku-Prüfung einzelne zitierbare Belege
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V1-T01 Welche beobachtbaren Belege zeigen die Ziele und Werte eines Modells und ob es noch ausgerichtet ist, wenn seine sichtbaren Gedankengänge kein verlässlicher Hinweis mehr darauf sind oder ihre Überwachung nachlässt?
- SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus?
- SF-V1-T04 Wie misst man die Überwachbarkeit des Denkens mit einem gemeinsamen, reproduzierbaren Maßstab, bevor sie versagt, und wie prüft man verlässlich, ob das sichtbare Denken das tatsächliche Vorgehen des Modells treu wiedergibt, auch wenn Modelle lernen, ihre Denkschritte zu optimieren? Und wenn Überwachungsergebnisse beeinflussen, welche Trainingsdaten oder Zwischenstände behalten werden: Wie prüft man, ob diese Auswahl weniger erkennbares Fehlverhalten statt weniger Fehlverhalten begünstigt, auch wenn der Denktext nie direkt bewertet wird?
- SF-V1-T07 Lieber ein Modell, das immer seinen Lösungsweg zeigen muss, oder eines, das im Stillen mehr kann: Welches Risiko nimmt man in Kauf?
- SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig?
- SF-V1-T15 Welches messbare Maß für Überwachbarkeit könnte neben Fähigkeitstests stehen, und würden Labore es tatsächlich über weitere Skalierung entscheiden lassen? Welcher gemessene Verlust an Überwachung würde Einschränkungen der Selbstständigkeit eines Modells auslösen, und wie erkennt man Fehler, die im sichtbaren Denken nicht auftauchen?
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 35 %beantwortet teilweise oder widerspricht
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 38 %beantwortet teilweise oder widerspricht
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 42 %nur am Rande erwähnt
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 57 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 61 %einzelne zitierbare Belege
- JEV 52 %beantwortet teilweise oder widerspricht
- amos 25 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 29 %gleiches Oberthema, hilft nicht
- d3-ultra 38 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-O2-T06 Prüfer mit dauerhaftem Zugang im Labor sollen Nachprüfbarkeit, Transparenz und eine zweite Meinung bringen. Was sollten sie darüber hinaus veröffentlichen, das heute vertraulich bleibt, etwa Beinahe-Vorfälle oder Teilprüfungen noch unveröffentlichter Modelle?
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 49 %gleiches Oberthema, hilft nicht
- JEV 37 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv