LLM responses to benchmark questions are getting longer over time
Zusammenfassung
Kurz
Epoch AI berichtet anhand von drei Benchmarks, dass Modellantworten im Zeitverlauf länger werden; für Reasoning-Modelle gibt der Bericht eine schnellere Zunahme und durchschnittlich etwa achtmal so viele Ausgabetokens an wie für Modelle ohne ausgewiesenes Reasoning. Als mögliche Gründe nennt er Trainings- und Bewertungspraktiken sowie längere Kontexte, betont aber, dass insbesondere die Ursachen bei Nicht-Reasoning-Modellen unklar sind.
Mittel
Epoch AI berichtet, dass Antworten von Sprachmodellen auf Fragen aus drei Benchmarks im Zeitverlauf länger werden: GPQA Diamond, MATH Level 5 und OTIS Mock AIME 2024–2025. Laut der Auswertung wächst die Antwortlänge bei Reasoning-Modellen mit einer angegebenen Rate von 5-fach pro Jahr, bei Modellen ohne ausgewiesenes Reasoning mit 2,2-fach. Reasoning-Modelle erzeugten demnach derzeit durchschnittlich etwa achtmal so viele Tokens. Eine Tabelle dokumentiert für viele Modelle und Aufgaben unter anderem Antwortlänge und Bestpunktzahl; die Werte unterscheiden sich deutlich zwischen Modellen und Benchmarks.
Als mögliche Erklärung für längere Reasoning-Ausgaben verweist der Bericht auf Forschung zum Zusammenhang von verstärktem RL-Training und mehr Reasoning-Tokens. Für Nicht-Reasoning-Modelle seien die Ursachen unklarer; denkbar seien längere Kontexte, Bewertungspräferenzen zugunsten ausführlicher Antworten oder Kontextdestillation aus Chain-of-Thought-Prompting. Auch die Grenze zwischen beiden Modelltypen könne künftig verschwimmen. Die Analyse stützt sich auf die genannten Benchmarks; detaillierte Angaben zu Stichprobenumfang oder statistischer Unsicherheit fehlen im Text. Die genannten Ursachen sind daher Hypothesen, keine belegten Erklärungen.
Ausführlich lesen
Der Bericht von Epoch AI untersucht, wie lang Antworten von Sprachmodellen auf Benchmarkfragen im Zeitverlauf geworden sind. Nach seiner Darstellung nehmen die Antwortlängen sowohl bei als auch bei Modellen ohne ausgewiesene Reasoning-Funktion zu. Für Reasoning-Modelle gibt Epoch AI eine deutlich schnellere Zunahme an: Die Länge wachse demnach mit einer Rate von 5-fach pro Jahr, gegenüber 2,2-fach pro Jahr bei Modellen ohne Reasoning. Zudem hätten Reasoning-Modelle aktuell im Durchschnitt etwa achtmal so viele Ausgabetokens wie die Vergleichsgruppe.
Für die Analyse wurden Daten aus Epochs Benchmarking Hub herangezogen. Verglichen wurden durchschnittliche Antwortlängen bei drei Aufgabenreihen: GPQA Diamond, MATH Level 5 und OTIS Mock AIME 2024–2025. Die beigefügte Tabelle führt für zahlreiche Modelle und Benchmarks unter anderem Veröffentlichungsdatum, erreichte Bestpunktzahl, Ausgabetokens pro Frage und die Einordnung als Reasoning-Modell auf. Die Werte zeigen große Unterschiede zwischen Modellen und Aufgaben. So liegen bei den aufgeführten Reasoning-Modellen die Antwortlängen teilweise bei mehreren Tausend Tokens und bei einzelnen AIME-Einträgen über 20.000; viele Modelle ohne ausgewiesenes Reasoning liegen deutlich darunter. Die Tabellen sind im Quelltext zweimal enthalten.
Der Bericht ordnet die Gründe unterschiedlich sicher ein. Für Reasoning-Modelle verweist er auf Forschung, nach der mehr Reinforcement-Learning-Training mit mehr Reasoning-Tokens einhergehen kann. Weshalb auch Antworten von Nicht-Reasoning-Modellen länger werden, sei weniger klar. Als mögliche Erklärungen nennt Epoch längere Kontextfenster, eine Bevorzugung längerer Antworten durch Bewertende bei der Erstellung von RLHF-Daten sowie die zunehmende Nutzung von Kontextdestillation aus Chain-of-Thought-Prompting. Diese Erklärungen werden als Möglichkeiten dargestellt, nicht als nachgewiesene Ursachen. Außerdem könne die Trennung zwischen Reasoning- und Nicht-Reasoning-Modellen bei künftigen Modellen unschärfer werden.
Die Aussagekraft ist durch die im Bericht dargestellten Angaben begrenzt: Die Analyse bezieht sich auf die genannten drei Benchmarks und die dort erfassten Modelle. Der Text nennt keine detaillierten Angaben zu Stichprobenumfang, Unsicherheitsmaßen oder statistischen Tests. Daher belegt die Darstellung einen beobachteten Zusammenhang in diesen Benchmarkdaten, aber für sich genommen weder allgemeine Antwortlängen in alltäglichen Anwendungen noch Ursachen für den Trend. Der Bericht verweist auf den verfügbaren Analysecode, erläutert dessen Methoden im vorliegenden Text jedoch nicht näher.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Einordnung stützt sich nur auf den Bericht. Die Fassungen von Luna enthalten keine erfundenen Zahlen. Die Frage SF-H1 ist im Bericht nur über den Begriff Destillation berührt, nicht inhaltlich.
Im Bericht, aber nicht in der Zusammenfassung
- Die kurze Fassung nennt die Wachstumsraten nicht (5-fach pro Jahr bei Reasoning-Modellen gegenüber 2,2-fach bei den übrigen).
- Der Bericht sagt, dass es sich um Epochs interne Benchmarks handelt und die Daten aus dem Benchmarking Hub stammen.
- Die Fassungen weisen nicht darauf hin, dass Reasoning-Modelle laut Bericht auch insgesamt deutlich mehr Tokens erzeugen als Nicht-Reasoning-Modelle; die mittlere Fassung erwähnt nur die 8-fache Menge ohne Einordnung als Gesamtaussage.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 67 %gleiches Oberthema, hilft nicht
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 41 %gleiches Oberthema, hilft nicht
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 77 %Hintergrund, keine Belege
- JEV 56 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 32 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Alle Berichte im Archiv