LLMs haven’t solved the hardest problems on math contests
Zusammenfassung
Kurz
Laut Bericht haben LLMs bei Mathematikwettbewerben große Fortschritte gemacht und erreichen bei leichteren Aufgaben oft sehr hohe Lösungsquoten. Die schwierigsten Aufgaben bleiben jedoch ungelöst beziehungsweise sind nur durch einzelne, angekündigte Ergebnisse teilweise abgedeckt; wegen der kleinen Stichproben seien die Grenzen der Modelle schwer genau einzuschätzen.
Mittel
Der Bericht schildert Fortschritte von Sprachmodellen bei Mathematikwettbewerben: Während sie ein Jahr zuvor laut Autor nur leichtere Aufgaben bewältigten, hätten neuere Modelle inzwischen Ergebnisse auf Goldmedaillenniveau bei der Internationalen Mathematik-Olympiade (IMO) erreicht. Dennoch habe bislang kein LLM eine Aufgabe der höchsten Schwierigkeitsstufe gelöst.
Epoch AI erstellt einen gemeinsamen Schwierigkeitsmaßstab aus den Bewertungen von Art of Problem Solving und der MOHS-Skala von IMO-Trainer Evan Chen. Die Lösungsquoten für AIME, USAMO und IMO stammen laut Bericht von MathArena. Bei leichteren Aufgaben erreichen mehrere öffentlich verfügbare Modelle mehr als 95 Prozent. Für schwierigere Aufgaben der Stufen 6 und 7 sind die Ergebnisse geringer; GPT-5 liegt laut Tabelle bei 69 beziehungsweise 68 Prozent. Auf Stufe 9 weisen die meisten Modelle null Prozent aus. Gemini Deep Think wird mit 100 Prozent auf Stufe 7 und 8, aber null Prozent auf Stufe 9 aufgeführt.
Bei der IMO 2025 hätten bestimmte experimentelle Modelle laut angekündigten Ergebnissen alle bis auf eine der sechs Aufgaben gelöst. Eine zusätzliche Prüfung des öffentlich verfügbaren Deep-Think-Modells an zwei IMO-Aufgaben von 2024 ergab laut Bericht keinen Erfolg in jeweils zehn Versuchen. Die Stichprobe auf den höchsten Stufen sei klein; deshalb seien genaue Aussagen über die Leistungsgrenze unsicher.
Ausführlich lesen
Der Bericht beschreibt deutliche Fortschritte von Sprachmodellen bei Mathematikwettbewerben für Schülerinnen und Schüler, hebt aber eine Grenze bei den schwierigsten Aufgaben hervor. Laut Autor konnten LLMs ein Jahr zuvor nur einige der leichteren Aufgaben lösen; inzwischen hätten Modelle beim Internationalen Mathematik-Olympiade-Wettbewerb (IMO) Ergebnisse auf Goldmedaillenniveau erreicht. Zugleich habe laut Bericht bislang kein LLM eine Aufgabe aus der höchsten Schwierigkeitsstufe dieser Wettbewerbe gelöst.
Für den Vergleich ordnet Epoch AI Aufgaben der AIME sowie der USAMO und IMO auf einer gemeinsamen Skala ein. Diese verbindet Bewertungen der Art of Problem Solving mit der Math Olympiad Hardness Scale (MOHS) des IMO-Trainers Evan Chen. Die Lösungsquoten stammen laut Bericht von MathArena. Aufgeführt werden Modelle, die zum Zeitpunkt ihrer Veröffentlichung als führend galten, sowie angekündigte Ergebnisse für noch nicht veröffentlichte Modelle, die bei der IMO Goldmedaillenniveau erzielt hätten.
Die Tabelle zeigt für die leichteren AIME-Aufgaben hohe Erfolgsquoten: Bei Schwierigkeitsgrad 5 erreichen mehrere öffentlich verfügbare Modelle mehr als 95 Prozent; bei den Stufen 2 bis 4 liegen die ausgewiesenen Werte für einige neuere Modelle ebenfalls nahe oder bei 100 Prozent. Auf den Stufen 6 und 7 sind die Ergebnisse niedriger und uneinheitlicher. GPT-5 erreicht laut Tabelle 69 Prozent bei Stufe 6 und 68 Prozent bei Stufe 7. Bei den schwierigsten Aufgaben der Stufe 9 weist die Tabelle für die meisten aufgeführten Modelle null Prozent aus; o3-mini (high) kommt auf vier Prozent. Für Gemini Deep Think sind in der Tabelle 100 Prozent bei den Stufen 7 und 8, aber null Prozent bei Stufe 9 angegeben.
Der Bericht erklärt, dass die nicht vollständige Abdeckung der Stufen 6 und 7 teilweise auf Zuverlässigkeit zurückgehe: Eine Aufgabe gilt demnach als gelöst, wenn das Modell sie bei vier Versuchen mindestens einmal löst. Für die IMO 2025 nennt der Text drei Aufgaben der Stufe 7, zwei der Stufe 8 und eine der Stufe 9. Bestimmte experimentelle LLMs, darunter Googles Deep Think, hätten laut angekündigten Ergebnissen alle bis auf die letzte dieser Aufgaben gelöst. Wegen der kleinen Stichprobe prüfte Epoch außerdem das öffentlich verfügbare Deep-Think-Modell an zwei leicht überprüfbaren IMO-Aufgaben von 2024, mit Bewertungen 8 und 9. Laut Bericht löste es keine davon in jeweils zehn Versuchen.
Der Autor betont, dass die geringe Zahl der Aufgaben an der höchsten Schwierigkeitsstufe genaue Aussagen über die Fähigkeiten der Modelle erschwert. Die berichteten Resultate sprechen gegen eine vollständige Bewältigung dieser Stufe, erlauben aber wegen der kleinen Stichproben keine präzise Einschätzung der tatsächlichen Leistungsgrenze.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassung ist im Kern treu und enthält keine erkennbar erfundenen Angaben. Die Prüfung der Teilfragen mit dem Bericht ist nur eingeschränkt möglich, weil die Sammelfragen mit dem Thema Mathematikbenchmarks nicht zusammenhängen.
Im Bericht, aber nicht in der Zusammenfassung
- Die Kurzfassung nennt nicht, dass Modelle inzwischen Ergebnisse auf Goldmedaillenniveau bei der IMO erreicht haben.
- Die mittlere Fassung erklärt die Lücke bei Stufe 6 und 7 nicht: Sie liegt laut Bericht an der Zuverlässigkeit, weil Aufgaben in vier Stichproben mindestens einmal gelöst werden.
- Der Bericht hält eine vollständige Sättigung für unwahrscheinlich; das wird in keiner der beiden Fassungen klar benannt.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 69 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 28 %Hintergrund, keine Belege
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug