Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch3. September 2025 · Q006227

LLMs haven’t solved the hardest problems on math contests

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Laut Bericht haben LLMs bei Mathematikwettbewerben große Fortschritte gemacht und erreichen bei leichteren Aufgaben oft sehr hohe Lösungsquoten. Die schwierigsten Aufgaben bleiben jedoch ungelöst beziehungsweise sind nur durch einzelne, angekündigte Ergebnisse teilweise abgedeckt; wegen der kleinen Stichproben seien die Grenzen der Modelle schwer genau einzuschätzen.

Mittel

Der Bericht schildert Fortschritte von Sprachmodellen bei Mathematikwettbewerben: Während sie ein Jahr zuvor laut Autor nur leichtere Aufgaben bewältigten, hätten neuere Modelle inzwischen Ergebnisse auf Goldmedaillenniveau bei der Internationalen Mathematik-Olympiade (IMO) erreicht. Dennoch habe bislang kein LLM eine Aufgabe der höchsten Schwierigkeitsstufe gelöst.

Epoch AI erstellt einen gemeinsamen Schwierigkeitsmaßstab aus den Bewertungen von Art of Problem Solving und der MOHS-Skala von IMO-Trainer Evan Chen. Die Lösungsquoten für AIME, USAMO und IMO stammen laut Bericht von MathArena. Bei leichteren Aufgaben erreichen mehrere öffentlich verfügbare Modelle mehr als 95 Prozent. Für schwierigere Aufgaben der Stufen 6 und 7 sind die Ergebnisse geringer; GPT-5 liegt laut Tabelle bei 69 beziehungsweise 68 Prozent. Auf Stufe 9 weisen die meisten Modelle null Prozent aus. Gemini Deep Think wird mit 100 Prozent auf Stufe 7 und 8, aber null Prozent auf Stufe 9 aufgeführt.

Bei der IMO 2025 hätten bestimmte experimentelle Modelle laut angekündigten Ergebnissen alle bis auf eine der sechs Aufgaben gelöst. Eine zusätzliche Prüfung des öffentlich verfügbaren Deep-Think-Modells an zwei IMO-Aufgaben von 2024 ergab laut Bericht keinen Erfolg in jeweils zehn Versuchen. Die Stichprobe auf den höchsten Stufen sei klein; deshalb seien genaue Aussagen über die Leistungsgrenze unsicher.

Ausführlich lesen

Der Bericht beschreibt deutliche Fortschritte von Sprachmodellen bei Mathematikwettbewerben für Schülerinnen und Schüler, hebt aber eine Grenze bei den schwierigsten Aufgaben hervor. Laut Autor konnten LLMs ein Jahr zuvor nur einige der leichteren Aufgaben lösen; inzwischen hätten Modelle beim Internationalen Mathematik-Olympiade-Wettbewerb (IMO) Ergebnisse auf Goldmedaillenniveau erreicht. Zugleich habe laut Bericht bislang kein LLM eine Aufgabe aus der höchsten Schwierigkeitsstufe dieser Wettbewerbe gelöst.

Für den Vergleich ordnet Epoch AI Aufgaben der AIME sowie der USAMO und IMO auf einer gemeinsamen Skala ein. Diese verbindet Bewertungen der Art of Problem Solving mit der Math Olympiad Hardness Scale (MOHS) des IMO-Trainers Evan Chen. Die Lösungsquoten stammen laut Bericht von MathArena. Aufgeführt werden Modelle, die zum Zeitpunkt ihrer Veröffentlichung als führend galten, sowie angekündigte Ergebnisse für noch nicht veröffentlichte Modelle, die bei der IMO Goldmedaillenniveau erzielt hätten.

Die Tabelle zeigt für die leichteren AIME-Aufgaben hohe Erfolgsquoten: Bei Schwierigkeitsgrad 5 erreichen mehrere öffentlich verfügbare Modelle mehr als 95 Prozent; bei den Stufen 2 bis 4 liegen die ausgewiesenen Werte für einige neuere Modelle ebenfalls nahe oder bei 100 Prozent. Auf den Stufen 6 und 7 sind die Ergebnisse niedriger und uneinheitlicher. GPT-5 erreicht laut Tabelle 69 Prozent bei Stufe 6 und 68 Prozent bei Stufe 7. Bei den schwierigsten Aufgaben der Stufe 9 weist die Tabelle für die meisten aufgeführten Modelle null Prozent aus; o3-mini (high) kommt auf vier Prozent. Für Gemini Deep Think sind in der Tabelle 100 Prozent bei den Stufen 7 und 8, aber null Prozent bei Stufe 9 angegeben.

Der Bericht erklärt, dass die nicht vollständige Abdeckung der Stufen 6 und 7 teilweise auf Zuverlässigkeit zurückgehe: Eine Aufgabe gilt demnach als gelöst, wenn das Modell sie bei vier Versuchen mindestens einmal löst. Für die IMO 2025 nennt der Text drei Aufgaben der Stufe 7, zwei der Stufe 8 und eine der Stufe 9. Bestimmte experimentelle LLMs, darunter Googles Deep Think, hätten laut angekündigten Ergebnissen alle bis auf die letzte dieser Aufgaben gelöst. Wegen der kleinen Stichprobe prüfte Epoch außerdem das öffentlich verfügbare Deep-Think-Modell an zwei leicht überprüfbaren IMO-Aufgaben von 2024, mit Bewertungen 8 und 9. Laut Bericht löste es keine davon in jeweils zehn Versuchen.

Der Autor betont, dass die geringe Zahl der Aufgaben an der höchsten Schwierigkeitsstufe genaue Aussagen über die Fähigkeiten der Modelle erschwert. Die berichteten Resultate sprechen gegen eine vollständige Bewältigung dieser Stufe, erlauben aber wegen der kleinen Stichproben keine präzise Einschätzung der tatsächlichen Leistungsgrenze.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassung ist im Kern treu und enthält keine erkennbar erfundenen Angaben. Die Prüfung der Teilfragen mit dem Bericht ist nur eingeschränkt möglich, weil die Sammelfragen mit dem Thema Mathematikbenchmarks nicht zusammenhängen.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Kurzfassung nennt nicht, dass Modelle inzwischen Ergebnisse auf Goldmedaillenniveau bei der IMO erreicht haben.
  • Die mittlere Fassung erklärt die Lücke bei Stufe 6 und 7 nicht: Sie liegt laut Bericht an der Zuverlässigkeit, weil Aufgaben in vier Stichproben mindestens einmal gelöst werden.
  • Der Bericht hält eine vollständige Sättigung für unwahrscheinlich; das wird in keiner der beiden Fassungen klar benannt.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV offen
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV offen
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →