What will the IMO tell us about AI math capabilities?
Zusammenfassung
Kurz
Greg Burnham argumentiert, dass IMO-Medaillen allein wenig über KI-Fortschritt aussagen: Entscheidend sei, ob die Systeme Aufgaben kreativ und verallgemeinerbar beweisen oder lediglich systematisch durchprobieren. Er hält eine AlphaProof-Goldmedaille für wahrscheinlich, einen überzeugenden Nachweis kreativer Problemlösung aber für selten; die konkrete Aufgabenwahl und mögliche Nichtveröffentlichung begrenzen seine Einschätzung.
Mittel
Greg Burnham erörtert, was die IMO 2025 über KI in der Mathematik zeigen könnte. Er betont, dass Medaillen allein wenig aussagen: Sie hängen von den menschlichen Ergebnissen und davon ab, welche Aufgabentypen vorkommen. Entscheidend sei, wie ein System zu seiner Lösung kommt und ob es kreative, verallgemeinerbare Beweisideen zeigt.
AlphaProof löste 2024 drei IMO-Aufgaben, darunter eine sehr schwierige, aber laut Burnham mit einer langen, wenig eleganten Fallunterscheidung. AlphaGeometry2 bewältigte die Geometrieaufgabe; wegen seiner Spezialisierung hält der Autor das für begrenzt aussagekräftig. Allgemeine Sprachmodelle hatten bei der USAMO 2025 bereits zwei von sechs Aufgaben gelöst. Da IMO-Lösungen strenge Beweise erfordern, wäre eine Medaille eines Sprachmodells ein Hinweis auf bessere Beweisfähigkeiten.
Burnham schätzt eine Goldmedaille für AlphaProof auf 70 Prozent, glaubt aber überwiegend an ein Ergebnis ohne neuen Fähigkeitsnachweis. Für einen überzeugenden Beleg kreativer Problemlösung veranschlagt er fünf Prozent. Ob Kreativität vorliegt, müsse anhand konkreter Lösungen geprüft werden. Seine Prognose ist zudem unsicher, weil Aufgabenwahl und mögliche Nichtveröffentlichung von Ergebnissen die Auswertung beeinflussen können.
Ausführlich lesen
Der Beitrag von Greg Burnham fragt, welche Schlüsse die Internationale Mathematik-Olympiade (IMO) 2025 über die mathematischen Fähigkeiten von KI zulassen könnte. Der Autor kennzeichnet den Text als persönliche Einschätzung, die nicht zwingend Epoch AI insgesamt widerspiegelt. Seine zentrale These: Medaillen und Punktzahlen allein zeigen nur begrenzt, ob KI tatsächlich neue Fähigkeiten entwickelt hat. Aussagekräftiger wäre, wie die Systeme einzelne Aufgaben lösen – insbesondere, ob sie kreativ verallgemeinern können.
Als Ausgangslage nennt Burnham AlphaProof, das 2024 drei IMO-Aufgaben löste, darunter eine sehr schwierige, sowie AlphaGeometry2, das die Geometrieaufgabe bewältigte. Allgemeine Sprachmodelle hätten beim USAMO-Wettbewerb 2025 bereits zwei von sechs Aufgaben gelöst. Für IMO-Aufgaben reicht eine richtige Antwort jedoch kaum aus: Bewertet werden ausgearbeitete Beweise. Der Beitrag unterscheidet bei schwierigeren Aufgaben zwischen Abstraktion, kreativen Einfällen und langen Lösungsketten. AlphaProofs Lösung der schwierigen Aufgabe P6 funktionierte laut Autor formal, bestand aber aus einer langen Fallunterscheidung und ähnelte nicht den von Menschen vorgeschlagenen Lösungswegen. Das wertet er als wenig überzeugendes Beispiel für mathematische Kreativität. Auch AlphaGeometry2s Erfolg bei Geometrie hält er wegen des eng begrenzten Spezialgebiets nur für eingeschränkt aussagekräftig.
Burnham skizziert mehrere mögliche Ergebnisse. Kein Fortschritt wäre mit schwachen Ergebnissen vereinbar, könnte aber auch an besonders ungeeigneten Aufgaben liegen. Selbst eine Goldmedaille für AlphaProof könnte wenig Neues zeigen, falls die Aufgaben mit systematischem Durchprobieren lösbar sind oder der Wettbewerb KI-freundliche Geometrie enthält. Der Autor schätzt die Chance einer solchen Goldmedaille auf 70 Prozent, überwiegend aus diesem Grund. Eine Silber- oder Goldmedaille eines Sprachmodells würde seiner Einschätzung nach auf Fortschritte beim Beweisen hindeuten, wäre aber vor allem für Mathematiker nützlich. Am aufschlussreichsten fände er dagegen Lösungen, die kreative Problemlösung belegen; dafür setzt er bei AlphaProof nur eine Wahrscheinlichkeit von fünf Prozent an.
Zur Einordnung erläutert der Beitrag den Ablauf der IMO: Sechs Aufgaben werden an zwei Tagen bearbeitet, Beweise von Menschen bewertet und Medaillen anhand der menschlichen Ergebnisse verteilt. Daher hängt die Medaillenfarbe auch davon ab, wie schwierig die Aufgaben für Menschen sind. AlphaProof erhielt 2024 zudem mehrere Tage Zeit, während Teilnehmenden pro Wettkampftag 4,5 Stunden zur Verfügung stehen. Burnham hält diesen Zeitunterschied für weniger entscheidend als die Frage, ob eine Aufgabe überhaupt gelöst werden kann.
Die Einschätzungen bleiben an die konkrete Aufgabenwahl gebunden. Der Autor betont, dass kreative Lösungen nur durch Prüfung der einzelnen Beweise erkennbar wären. Außerdem könnte Google AlphaProof-Ergebnisse zurückhalten; seine Wahrscheinlichkeiten berücksichtigt Burnham zufolge mögliche Auswahlverzerrungen nur unvollkommen. Insgesamt erwartet er eher keinen überraschenden Nachweis kreativer KI-Mathematik und sieht die IMO als mögliches Signal, nicht als abschließenden Test für die Verallgemeinerungsfähigkeit von KI.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassungen geben den Bericht sinngemäß korrekt wieder und erfinden keine Angaben, lassen aber mehrere zentrale Befunde aus. Die Einordnung stützt sich auf den Berichtstext; da der Bericht nur am Rande mit den Sammelfragen zu tun hat, fallen die Stufen niedrig aus.
Im Bericht, aber nicht in der Zusammenfassung
- Die Fähigkeiten allgemeiner Sprachmodelle beim Beweisen sind schwächer, weil das RL-Training vor allem auf Aufgaben mit kurzen Antworten setzt.
- Alle KI-Systeme zeigen bisher wenig Kreativität; AlphaProofs Lösung von P6 war brute-force.
- Der Hauptbefund des Berichts, dass die Wahrscheinlichkeit eines klaren Kreativitätsnachweises gering ist und der modale Ausgang ein Gold für AlphaProof sowie Fortschritte bei P2 oder P5 ohne Kreativitätsbeleg ist, wird nicht genannt.
- Die Struktur des IMO (zwei Tage, je drei Aufgaben, Bewertung 0 bis 7) und die Medaillenschwellen werden nicht erwähnt.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 39 %gleiches Oberthema, hilft nicht
- JEV 24 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 29 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %einzelne zitierbare Belege
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 61 %Hintergrund, keine Belege
- JEV 25 %gleiches Oberthema, hilft nicht
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 59 %einzelne zitierbare Belege
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 55 %Hintergrund, keine Belege
- JEV 35 %Hintergrund, keine Belege
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 46 %nur am Rande erwähnt
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %einzelne zitierbare Belege
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv