Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch17. Oktober 2025 · Q006756

Less than 70% of FrontierMath is within reach for today’s models

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

In den ausgewerteten Versuchen wurden 57 Prozent der 290 FrontierMath-Aufgaben mindestens einmal gelöst. Aus abnehmenden Zugewinnen und weiteren Annahmen schätzt der Autor, dass wiederholte Läufe heutiger Modelle insgesamt unter 70 Prozent erreichen könnten; das ist keine gemessene Grenze. Mit einer vorsichtig angesetzten Fehlerquote von zehn Prozent folgert er, dass etwa 20 Prozent der Aufgaben wahrscheinlich außerhalb ihrer Reichweite liegen.

Mittel

Greg Burnham fragt, wie viele FrontierMath-Aufgaben heutige Modelle wenigstens gelegentlich lösen können. In 32 Läufen mit GPT‑5 medium stieg die Trefferquote von 29 auf 46 Prozent; der Zuwachs je Verdoppelung der Laufzahl nahm ab. Der Autor schätzt deshalb, dass GPT‑5 unter 50 Prozent bleiben könnte. Das ist eine Extrapolation, keine gemessene Grenze. Auch ein Test mit zehn ungelösten Aufgaben, die jeweils 100 weitere Male versucht wurden, fand keine Lösung; wegen der kleinen Stichprobe schließt das seltene oder sehr schwer erreichbare Lösungen nicht aus.

Über sechs Modellgruppen hinweg wurde mindestens eine Lösung für 165 von 290 Aufgaben beobachtet (57 Prozent). Viele Lösungen überschnitten sich zwischen den Gruppen. ChatGPT Agent war eine Ausnahme: Er löste 14 Aufgaben exklusiv, möglicherweise dank Websuche. Aus den beobachteten Trends und unter Annahmen über zusätzliche Läufe schätzt Burnham eine Gesamtgrenze unter 70 Prozent. Die Schätzung ist unsicher, besonders für Modelle mit weniger Daten. Berücksichtigt man vorsichtshalber zehn Prozent fehlerhafte Aufgaben, folgert der Beitrag, dass etwa 20 Prozent wahrscheinlich unerreichbar sind. Künftige Fortschritte ließen sich daran messen, ob Modelle bekannte Lösungen zuverlässiger finden oder erstmals zuvor ungelöste Aufgaben bewältigen.

Ausführlich lesen

Der Beitrag von Greg Burnham untersucht, wie viele Aufgaben der privaten FrontierMath-Bereiche Tier 1–3 heutige Modelle überhaupt schon mindestens einmal lösen konnten. Der Autor unterscheidet diese kumulierte Trefferquote („pass@N“) von der Leistung eines einzelnen Laufs: Der beste Einzelversuch lag laut Beitrag bei 29 Prozent. Eine Aufgabe, die ein Modell wenigstens gelegentlich löst, könnte mit besserem Training später zuverlässiger gelöst werden; das wäre ein Hinweis auf Erreichbarkeit, aber noch kein Beleg für verlässliche Leistung.

Für GPT‑5 führte Epoch 32 Versuche mit dem eigenen Standardgerüst und zehnfachem Tokenbudget durch. Wegen eines Fehlers in der Auswertungsinfrastruktur liefen die Versuche mit GPT‑5 medium statt mit dem beabsichtigten GPT‑5 high. Die kumulierte Trefferquote stieg von 29 Prozent bei einem Lauf auf 46 Prozent bei 32 Läufen. Die Zugewinne bei jeder Verdoppelung wurden kleiner: von 5,4 Prozentpunkten zwischen einem und zwei Läufen auf 1,5 Punkte zwischen 16 und 32. Burnham extrapoliert daraus, dass die Quote wahrscheinlich unter 50 Prozent endet. Das ist eine Schätzung, keine gemessene Obergrenze; der Beitrag räumt ein, dass ein sehr langsames weiteres Wachstum nicht ausgeschlossen ist. Als Zusatzprüfung wurden zehn bislang ungelöste Aufgaben jeweils 100-mal weiter getestet; keine wurde gelöst. Diese kleine Stichprobe kann laut Autor nicht ausschließen, dass einzelne Aufgaben mit sehr vielen Versuchen lösbar wären.

Der Beitrag fasst außerdem insgesamt 127 Läufe aus sechs Gruppen zusammen: GPT‑5, verschiedene Modelle aus Epochs Benchmarking Hub, ChatGPT Agent, Gemini 2.5 Deep Think, o4‑mini und weitere Experimente. Über alle Gruppen hinweg wurde mindestens eine Lösung für 165 von 290 Aufgaben beobachtet, also für 57 Prozent. 140 Aufgaben tauchten in mindestens zwei Gruppen als gelöst auf. Das deutet nach Burnhams Einschätzung auf ähnliche Fähigkeiten der Modelle hin. Eine auffällige Ausnahme ist ChatGPT Agent: Er löste 14 Aufgaben, die in keiner anderen Gruppe gelöst wurden. Der Autor vermutet, dass der Webzugriff dabei half, relevantes, weniger geläufiges Wissen zu finden. Die 32 GPT‑5-Läufe ergänzten dagegen nur eine zuvor unbekannte Lösung.

Für ChatGPT Agent beobachtete Epoch ebenfalls abnehmende Zugewinne bei mehr Läufen. Eine einfache Extrapolation lässt weitere sechs Prozentpunkte erwarten. Zusammen mit den geschätzten möglichen Zugewinnen für GPT‑5 und unter der vorsichtigen Annahme, dass sich zusätzliche Lösungen nicht überschneiden, kommt der Autor auf 64 Prozent. Für die übrigen Modelle fehlen vergleichbar gute Prognosen. Er unterstellt ihnen für seine grobe Gesamtschätzung ein zusätzliches Potenzial in Höhe des für ChatGPT Agent geschätzten Zuwachses. Daraus ergibt sich die angenommene Gesamtgrenze von unter 70 Prozent. Diese Zahl beruht somit auf Extrapolationen und Annahmen, nicht auf einer beobachteten Sättigung.

Epoch hatte anfangs bei sieben Prozent der Aufgaben mögliche Fehler durch mehrdeutige Aufgabenstellungen oder Probleme mit Lösungsschlüssel beziehungsweise Prüfsystem angegeben; zum Zeitpunkt des Beitrags waren noch Fehler in zwei Prozent bekannt. Rechnet der Autor vorsichtshalber mit zehn Prozent fehlerhaften Aufgaben, folgert er, dass rund 20 Prozent wahrscheinlich außerhalb der Reichweite der aktuellen Modelle liegen. Das hängt sowohl von der angenommenen Fehlerquote als auch von den unsicheren Sättigungsschätzungen ab. Als Maß für künftigen Fortschritt schlägt der Beitrag vor, zu prüfen, ob bessere Ergebnisse vor allem bereits einmal gelöste Aufgaben zuverlässiger machen oder erstmals Lösungen für bisher ungelöste Aufgaben hervorbringen: Letzteres wäre für den Autor ein stärkerer Hinweis auf neue Fähigkeiten.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung wurde unabhängig von Lunas angegebenen Stufen und Anteilen vergeben. Die Fragen wurden in der Reihenfolge der Vorlage bewertet.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Annahme, dass pass@N proportional zu log(N) wächst, wurde geprüft und nicht bestätigt. Der Verlauf ist sub-logarithmisch und flacht ab.
  • Die Prognose von Epoch, dass 70 Prozent bereits in der ersten Hälfte des nächsten Jahres erreicht werden könnten.
  • Der Hinweis, dass 29 Prozent der beste Wert eines Einzellaufs sind und für die direkte Nutzung der relevante Maßstab ist.
  • Der GPT-5-Lauf wurde versehentlich mit der Stufe medium statt high durchgeführt. Der Autor hält die Schlussfolgerungen trotzdem für kaum verändert.

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Formulierung 'besonders für Modelle mit weniger Daten' ist eine eigene Zuspitzung. Der Bericht sagt nur, dass sich die Beiträge der übrigen Modelle schwer abschätzen lassen.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 22 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 45 %umfangreiche Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 49 %einzelne zitierbare Belege
    • JEV 45 %umfangreiche Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →