Less than 70% of FrontierMath is within reach for today’s models
Zusammenfassung
Kurz
In den ausgewerteten Versuchen wurden 57 Prozent der 290 FrontierMath-Aufgaben mindestens einmal gelöst. Aus abnehmenden Zugewinnen und weiteren Annahmen schätzt der Autor, dass wiederholte Läufe heutiger Modelle insgesamt unter 70 Prozent erreichen könnten; das ist keine gemessene Grenze. Mit einer vorsichtig angesetzten Fehlerquote von zehn Prozent folgert er, dass etwa 20 Prozent der Aufgaben wahrscheinlich außerhalb ihrer Reichweite liegen.
Mittel
Greg Burnham fragt, wie viele FrontierMath-Aufgaben heutige Modelle wenigstens gelegentlich lösen können. In 32 Läufen mit GPT‑5 medium stieg die Trefferquote von 29 auf 46 Prozent; der Zuwachs je Verdoppelung der Laufzahl nahm ab. Der Autor schätzt deshalb, dass GPT‑5 unter 50 Prozent bleiben könnte. Das ist eine Extrapolation, keine gemessene Grenze. Auch ein Test mit zehn ungelösten Aufgaben, die jeweils 100 weitere Male versucht wurden, fand keine Lösung; wegen der kleinen Stichprobe schließt das seltene oder sehr schwer erreichbare Lösungen nicht aus.
Über sechs Modellgruppen hinweg wurde mindestens eine Lösung für 165 von 290 Aufgaben beobachtet (57 Prozent). Viele Lösungen überschnitten sich zwischen den Gruppen. ChatGPT Agent war eine Ausnahme: Er löste 14 Aufgaben exklusiv, möglicherweise dank Websuche. Aus den beobachteten Trends und unter Annahmen über zusätzliche Läufe schätzt Burnham eine Gesamtgrenze unter 70 Prozent. Die Schätzung ist unsicher, besonders für Modelle mit weniger Daten. Berücksichtigt man vorsichtshalber zehn Prozent fehlerhafte Aufgaben, folgert der Beitrag, dass etwa 20 Prozent wahrscheinlich unerreichbar sind. Künftige Fortschritte ließen sich daran messen, ob Modelle bekannte Lösungen zuverlässiger finden oder erstmals zuvor ungelöste Aufgaben bewältigen.
Ausführlich lesen
Der Beitrag von Greg Burnham untersucht, wie viele Aufgaben der privaten FrontierMath-Bereiche Tier 1–3 heutige Modelle überhaupt schon mindestens einmal lösen konnten. Der Autor unterscheidet diese kumulierte Trefferquote („pass@N“) von der Leistung eines einzelnen Laufs: Der beste Einzelversuch lag laut Beitrag bei 29 Prozent. Eine Aufgabe, die ein Modell wenigstens gelegentlich löst, könnte mit besserem Training später zuverlässiger gelöst werden; das wäre ein Hinweis auf Erreichbarkeit, aber noch kein Beleg für verlässliche Leistung.
Für GPT‑5 führte Epoch 32 Versuche mit dem eigenen Standardgerüst und zehnfachem Tokenbudget durch. Wegen eines Fehlers in der Auswertungsinfrastruktur liefen die Versuche mit GPT‑5 medium statt mit dem beabsichtigten GPT‑5 high. Die kumulierte Trefferquote stieg von 29 Prozent bei einem Lauf auf 46 Prozent bei 32 Läufen. Die Zugewinne bei jeder Verdoppelung wurden kleiner: von 5,4 Prozentpunkten zwischen einem und zwei Läufen auf 1,5 Punkte zwischen 16 und 32. Burnham extrapoliert daraus, dass die Quote wahrscheinlich unter 50 Prozent endet. Das ist eine Schätzung, keine gemessene Obergrenze; der Beitrag räumt ein, dass ein sehr langsames weiteres Wachstum nicht ausgeschlossen ist. Als Zusatzprüfung wurden zehn bislang ungelöste Aufgaben jeweils 100-mal weiter getestet; keine wurde gelöst. Diese kleine Stichprobe kann laut Autor nicht ausschließen, dass einzelne Aufgaben mit sehr vielen Versuchen lösbar wären.
Der Beitrag fasst außerdem insgesamt 127 Läufe aus sechs Gruppen zusammen: GPT‑5, verschiedene Modelle aus Epochs Benchmarking Hub, ChatGPT Agent, Gemini 2.5 Deep Think, o4‑mini und weitere Experimente. Über alle Gruppen hinweg wurde mindestens eine Lösung für 165 von 290 Aufgaben beobachtet, also für 57 Prozent. 140 Aufgaben tauchten in mindestens zwei Gruppen als gelöst auf. Das deutet nach Burnhams Einschätzung auf ähnliche Fähigkeiten der Modelle hin. Eine auffällige Ausnahme ist ChatGPT Agent: Er löste 14 Aufgaben, die in keiner anderen Gruppe gelöst wurden. Der Autor vermutet, dass der Webzugriff dabei half, relevantes, weniger geläufiges Wissen zu finden. Die 32 GPT‑5-Läufe ergänzten dagegen nur eine zuvor unbekannte Lösung.
Für ChatGPT Agent beobachtete Epoch ebenfalls abnehmende Zugewinne bei mehr Läufen. Eine einfache Extrapolation lässt weitere sechs Prozentpunkte erwarten. Zusammen mit den geschätzten möglichen Zugewinnen für GPT‑5 und unter der vorsichtigen Annahme, dass sich zusätzliche Lösungen nicht überschneiden, kommt der Autor auf 64 Prozent. Für die übrigen Modelle fehlen vergleichbar gute Prognosen. Er unterstellt ihnen für seine grobe Gesamtschätzung ein zusätzliches Potenzial in Höhe des für ChatGPT Agent geschätzten Zuwachses. Daraus ergibt sich die angenommene Gesamtgrenze von unter 70 Prozent. Diese Zahl beruht somit auf Extrapolationen und Annahmen, nicht auf einer beobachteten Sättigung.
Epoch hatte anfangs bei sieben Prozent der Aufgaben mögliche Fehler durch mehrdeutige Aufgabenstellungen oder Probleme mit Lösungsschlüssel beziehungsweise Prüfsystem angegeben; zum Zeitpunkt des Beitrags waren noch Fehler in zwei Prozent bekannt. Rechnet der Autor vorsichtshalber mit zehn Prozent fehlerhaften Aufgaben, folgert er, dass rund 20 Prozent wahrscheinlich außerhalb der Reichweite der aktuellen Modelle liegen. Das hängt sowohl von der angenommenen Fehlerquote als auch von den unsicheren Sättigungsschätzungen ab. Als Maß für künftigen Fortschritt schlägt der Beitrag vor, zu prüfen, ob bessere Ergebnisse vor allem bereits einmal gelöste Aufgaben zuverlässiger machen oder erstmals Lösungen für bisher ungelöste Aufgaben hervorbringen: Letzteres wäre für den Autor ein stärkerer Hinweis auf neue Fähigkeiten.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Einordnung wurde unabhängig von Lunas angegebenen Stufen und Anteilen vergeben. Die Fragen wurden in der Reihenfolge der Vorlage bewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Die Annahme, dass pass@N proportional zu log(N) wächst, wurde geprüft und nicht bestätigt. Der Verlauf ist sub-logarithmisch und flacht ab.
- Die Prognose von Epoch, dass 70 Prozent bereits in der ersten Hälfte des nächsten Jahres erreicht werden könnten.
- Der Hinweis, dass 29 Prozent der beste Wert eines Einzellaufs sind und für die direkte Nutzung der relevante Maßstab ist.
- Der GPT-5-Lauf wurde versehentlich mit der Stufe medium statt high durchgeführt. Der Autor hält die Schlussfolgerungen trotzdem für kaum verändert.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Formulierung 'besonders für Modelle mit weniger Daten' ist eine eigene Zuspitzung. Der Bericht sagt nur, dass sich die Beiträge der übrigen Modelle schwer abschätzen lassen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 22 %einzelne zitierbare Belege
- amos 26 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 45 %umfangreiche Belege
- JEV 45 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 33 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 61 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 26 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 49 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 49 %einzelne zitierbare Belege
- JEV 45 %umfangreiche Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Alle Berichte im Archiv