Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch7. August 2025 · Q006872

We didn’t learn much from the IMO

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Greg Burnham zufolge zeigt das Lösen von fünf IMO-Aufgaben 2025 vor allem zuverlässige Leistungen bei leichten bis mittelschweren Problemen; die ungewöhnliche Schwierigkeitsverteilung erlaubt kaum Rückschlüsse auf neue mathematische Fähigkeiten. Die sehr schwere, ungelöste Aufgabe verlangte laut ihm Abstraktion und Kreativität, während frühere KI-Ergebnisse bereits nahe an die gelösten Aufgaben heranreichten.

Mittel

Greg Burnham argumentiert, die fünf von Google- und OpenAI-Modellen gelösten Aufgaben der IMO 2025 gäben nur begrenzte Hinweise auf neue mathematische Fähigkeiten. Nach den MOHS-Einstufungen waren sie leicht bis mittelschwer; die sechste Aufgabe war außergewöhnlich schwer. Die Verteilung sei ungewöhnlich und mache das Ergebnis wenig aussagekräftig für die Frage, ob die Modelle über mittelschwere Olympiadenaufgaben hinausgekommen sind.

Burnham vergleicht die Ergebnisse mit früheren Leistungen: Deep Think hatte bereits eine mittelschwere USAMO-Aufgabe gelöst, und verfügbare Modelle erzielten in MathArena Auswertungen Teilerfolge. Diese Tests nutzten teils mehrere Lösungsversuche und zusätzliche Testzeit. Auch ein direkter Vergleich mit AlphaProof sei nicht möglich, weil die diesjährigen Aufgaben anders verteilt waren: Die fünf gelösten waren leichter als AlphaProofs schwierigste gelöste Aufgabe, die ungelöste schwerer.

Inhaltlich beschreibt Burnham die fünf gelösten Aufgaben als weitgehend geradlinig. Die Modelle lösten eine geometrische Aufgabe mit langen algebraischen Argumenten; die sehr schwere Aufgabe, die Abstraktion und Kreativität verlangte, blieb ungelöst. Als wichtigen Erfolg bewertet er die Zuverlässigkeit der fünf eingereichten, nach seiner Darstellung lückenlosen Beweise. Weitergehende Aussagen über neue Fähigkeiten erforderten andere Prüfungen.

Ausführlich lesen

Der Beitrag von Greg Burnham bewertet, was sich aus den Goldmedaillen-Ergebnissen experimenteller Google- und OpenAI-Modelle bei der Internationalen Mathematik-Olympiade (IMO) 2025 über deren mathematische Fähigkeiten ableiten lässt. Beide Modelle lösten fünf von sechs Aufgaben. Burnhams zentrale Einschätzung lautet, dass dieses Ergebnis nur begrenzte Hinweise auf neue Fähigkeiten gibt: Die fünf gelösten Aufgaben waren höchstens mittelschwer, während die ungelöste Aufgabe außergewöhnlich schwer war.

Für seine Einordnung verbindet Burnham eine Außenperspektive auf Aufgabenschwierigkeiten und frühere KI-Ergebnisse mit einer genaueren Betrachtung der Aufgaben und Lösungen. Als Schwierigkeitsmaß nutzt er die MOHS-Einstufungen des IMO-Trainers Evan Chen. Danach hatte die IMO 2025 ungewöhnlich viele leichte bis mittelschwere Aufgaben und nur eine sehr schwere. Burnham weist darauf hin, dass solche Einstufungen subjektiv sind, Chen in der Olympiadenwelt aber als angesehene Fachperson gilt. Das Ergebnis spreche seiner Ansicht nach für Fortschritte bei der Zuverlässigkeit, belege aber keine Fähigkeiten jenseits mittelschwerer Olympiadenaufgaben. Das Scheitern an der extrem schweren Aufgabe schließe lediglich sehr rasche Fortschritte aus.

Auch frühere Ergebnisse begrenzen nach Burnhams Auffassung die Aussagekraft: Google Deep Think hatte bereits im Mai 2025 eine mittelschwere USAMO-Aufgabe gelöst. Zudem zeigten verfügbare Modelle in MathArena-Auswertungen Leistungen bei einzelnen IMO-Aufgaben. Diese Ergebnisse beruhten teils auf umfangreicher Testzeit-Skalierung und Auswahl aus mehreren Lösungsversuchen; sie seien daher nicht mit einer einzelnen, unveränderten Modellantwort gleichzusetzen. Burnham folgert, die experimentellen Modelle hätten die Gelegenheit nicht erhalten, sich direkt mit AlphaProof zu messen: Die diesjährigen gelösten Aufgaben waren leichter als dessen schwierigste gelöste Aufgabe, die ungelöste schwerer. Die Schwierigkeitswerte und die Vergleiche erlaubten daher keine eindeutige Aussage darüber, ob die LLMs AlphaProof übertrafen.

Bei der Einzelanalyse beschreibt Burnham die fünf gelösten Aufgaben als weitgehend geradlinig: Oft führe ein naheliegender Ansatz zum Ziel. Bei Aufgabe 1 hätten die Modelle eine geometrische Einsicht, die Menschen knapp formulieren könnten, stattdessen mit längeren algebraischen Argumenten ersetzt. Bei Aufgabe 3 seien die KI-Lösungen dem üblichen Lösungsweg gefolgt. Aufgabe 6 verlangte laut Burnham viel Abstraktion, Kreativität und eine lange Beweiskette; kein Modell fand die richtige Antwort. Seine Einschätzung, die leichten Aufgaben erforderten keine zuvor unbewiesenen Fähigkeiten, ist eine Deutung des Autors, keine allgemeingültige Messung.

Als eigenständigen Erfolg hebt Burnham die Zuverlässigkeit hervor: Die experimentellen Modelle durften jeweils nur eine Lösung einreichen und lieferten nach seiner Darstellung für fünf Aufgaben lückenlose Beweise. Das sei in einem Bereich bemerkenswert, in dem automatische Überprüfung natürlicher Sprachbeweise schwierig ist, Menschen deren Gültigkeit aber beurteilen können. Der Beitrag hält deshalb fest, dass stark eingesetzte LLMs in einem schwer überprüfbaren Bereich zuverlässige Ergebnisse erzielen können, sofern die nötige Denkleistung nicht zu hoch ist. Für weitergehende Aussagen über neue Fähigkeiten brauche es laut Burnham andere Prüfungen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung von Luna mit Stufen und Anteilen ist nicht prüfbar, weil der Bericht zu den Sammelfragen keinen Beleg liefert; die Teilfragenliste ist leer. Die Zusammenfassungen sind inhaltlich treu, lassen aber die räumliche Anschauung und die Harmonic-Einordnung aus.

Im Bericht, aber nicht in der Zusammenfassung

  • Die fehlende räumliche Anschauung der LLMs, die bei der geometrisch-kombinatorischen Aufgabe zu langen algebraischen Umwegen führte
  • Die Aussage, dass Harmonic als formaler Beweiser keine unkontaminierten IMO-Aufgaben schwerer als AlphaProofs schwierigste gelöste Aufgabe bewältigt hat

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 39 %beantwortet teilweise oder widerspricht
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 28 %nur am Rande erwähnt
    • JEV 58 %einzelne zitierbare Belege
    • amos 55 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 48 %einzelne zitierbare Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →