We didn’t learn much from the IMO
Zusammenfassung
Kurz
Greg Burnham zufolge zeigt das Lösen von fünf IMO-Aufgaben 2025 vor allem zuverlässige Leistungen bei leichten bis mittelschweren Problemen; die ungewöhnliche Schwierigkeitsverteilung erlaubt kaum Rückschlüsse auf neue mathematische Fähigkeiten. Die sehr schwere, ungelöste Aufgabe verlangte laut ihm Abstraktion und Kreativität, während frühere KI-Ergebnisse bereits nahe an die gelösten Aufgaben heranreichten.
Mittel
Greg Burnham argumentiert, die fünf von Google- und OpenAI-Modellen gelösten Aufgaben der IMO 2025 gäben nur begrenzte Hinweise auf neue mathematische Fähigkeiten. Nach den MOHS-Einstufungen waren sie leicht bis mittelschwer; die sechste Aufgabe war außergewöhnlich schwer. Die Verteilung sei ungewöhnlich und mache das Ergebnis wenig aussagekräftig für die Frage, ob die Modelle über mittelschwere Olympiadenaufgaben hinausgekommen sind.
Burnham vergleicht die Ergebnisse mit früheren Leistungen: Deep Think hatte bereits eine mittelschwere USAMO-Aufgabe gelöst, und verfügbare Modelle erzielten in MathArena Auswertungen Teilerfolge. Diese Tests nutzten teils mehrere Lösungsversuche und zusätzliche Testzeit. Auch ein direkter Vergleich mit AlphaProof sei nicht möglich, weil die diesjährigen Aufgaben anders verteilt waren: Die fünf gelösten waren leichter als AlphaProofs schwierigste gelöste Aufgabe, die ungelöste schwerer.
Inhaltlich beschreibt Burnham die fünf gelösten Aufgaben als weitgehend geradlinig. Die Modelle lösten eine geometrische Aufgabe mit langen algebraischen Argumenten; die sehr schwere Aufgabe, die Abstraktion und Kreativität verlangte, blieb ungelöst. Als wichtigen Erfolg bewertet er die Zuverlässigkeit der fünf eingereichten, nach seiner Darstellung lückenlosen Beweise. Weitergehende Aussagen über neue Fähigkeiten erforderten andere Prüfungen.
Ausführlich lesen
Der Beitrag von Greg Burnham bewertet, was sich aus den Goldmedaillen-Ergebnissen experimenteller Google- und OpenAI-Modelle bei der Internationalen Mathematik-Olympiade (IMO) 2025 über deren mathematische Fähigkeiten ableiten lässt. Beide Modelle lösten fünf von sechs Aufgaben. Burnhams zentrale Einschätzung lautet, dass dieses Ergebnis nur begrenzte Hinweise auf neue Fähigkeiten gibt: Die fünf gelösten Aufgaben waren höchstens mittelschwer, während die ungelöste Aufgabe außergewöhnlich schwer war.
Für seine Einordnung verbindet Burnham eine Außenperspektive auf Aufgabenschwierigkeiten und frühere KI-Ergebnisse mit einer genaueren Betrachtung der Aufgaben und Lösungen. Als Schwierigkeitsmaß nutzt er die MOHS-Einstufungen des IMO-Trainers Evan Chen. Danach hatte die IMO 2025 ungewöhnlich viele leichte bis mittelschwere Aufgaben und nur eine sehr schwere. Burnham weist darauf hin, dass solche Einstufungen subjektiv sind, Chen in der Olympiadenwelt aber als angesehene Fachperson gilt. Das Ergebnis spreche seiner Ansicht nach für Fortschritte bei der Zuverlässigkeit, belege aber keine Fähigkeiten jenseits mittelschwerer Olympiadenaufgaben. Das Scheitern an der extrem schweren Aufgabe schließe lediglich sehr rasche Fortschritte aus.
Auch frühere Ergebnisse begrenzen nach Burnhams Auffassung die Aussagekraft: Google Deep Think hatte bereits im Mai 2025 eine mittelschwere USAMO-Aufgabe gelöst. Zudem zeigten verfügbare Modelle in MathArena-Auswertungen Leistungen bei einzelnen IMO-Aufgaben. Diese Ergebnisse beruhten teils auf umfangreicher Testzeit-Skalierung und Auswahl aus mehreren Lösungsversuchen; sie seien daher nicht mit einer einzelnen, unveränderten Modellantwort gleichzusetzen. Burnham folgert, die experimentellen Modelle hätten die Gelegenheit nicht erhalten, sich direkt mit AlphaProof zu messen: Die diesjährigen gelösten Aufgaben waren leichter als dessen schwierigste gelöste Aufgabe, die ungelöste schwerer. Die Schwierigkeitswerte und die Vergleiche erlaubten daher keine eindeutige Aussage darüber, ob die LLMs AlphaProof übertrafen.
Bei der Einzelanalyse beschreibt Burnham die fünf gelösten Aufgaben als weitgehend geradlinig: Oft führe ein naheliegender Ansatz zum Ziel. Bei Aufgabe 1 hätten die Modelle eine geometrische Einsicht, die Menschen knapp formulieren könnten, stattdessen mit längeren algebraischen Argumenten ersetzt. Bei Aufgabe 3 seien die KI-Lösungen dem üblichen Lösungsweg gefolgt. Aufgabe 6 verlangte laut Burnham viel Abstraktion, Kreativität und eine lange Beweiskette; kein Modell fand die richtige Antwort. Seine Einschätzung, die leichten Aufgaben erforderten keine zuvor unbewiesenen Fähigkeiten, ist eine Deutung des Autors, keine allgemeingültige Messung.
Als eigenständigen Erfolg hebt Burnham die Zuverlässigkeit hervor: Die experimentellen Modelle durften jeweils nur eine Lösung einreichen und lieferten nach seiner Darstellung für fünf Aufgaben lückenlose Beweise. Das sei in einem Bereich bemerkenswert, in dem automatische Überprüfung natürlicher Sprachbeweise schwierig ist, Menschen deren Gültigkeit aber beurteilen können. Der Beitrag hält deshalb fest, dass stark eingesetzte LLMs in einem schwer überprüfbaren Bereich zuverlässige Ergebnisse erzielen können, sofern die nötige Denkleistung nicht zu hoch ist. Für weitergehende Aussagen über neue Fähigkeiten brauche es laut Burnham andere Prüfungen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Einordnung von Luna mit Stufen und Anteilen ist nicht prüfbar, weil der Bericht zu den Sammelfragen keinen Beleg liefert; die Teilfragenliste ist leer. Die Zusammenfassungen sind inhaltlich treu, lassen aber die räumliche Anschauung und die Harmonic-Einordnung aus.
Im Bericht, aber nicht in der Zusammenfassung
- Die fehlende räumliche Anschauung der LLMs, die bei der geometrisch-kombinatorischen Aufgabe zu langen algebraischen Umwegen führte
- Die Aussage, dass Harmonic als formaler Beweiser keine unkontaminierten IMO-Aufgaben schwerer als AlphaProofs schwierigste gelöste Aufgabe bewältigt hat
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 39 %beantwortet teilweise oder widerspricht
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 45 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 57 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 28 %nur am Rande erwähnt
- JEV 58 %einzelne zitierbare Belege
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 48 %einzelne zitierbare Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Alle Berichte im Archiv