Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch17. April 2025 · Q006315

LLM responses to benchmark questions are getting longer over time

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI berichtet anhand von drei Benchmarks, dass Modellantworten im Zeitverlauf länger werden; für Reasoning-Modelle gibt der Bericht eine schnellere Zunahme und durchschnittlich etwa achtmal so viele Ausgabetokens an wie für Modelle ohne ausgewiesenes Reasoning. Als mögliche Gründe nennt er Trainings- und Bewertungspraktiken sowie längere Kontexte, betont aber, dass insbesondere die Ursachen bei Nicht-Reasoning-Modellen unklar sind.

Mittel

Epoch AI berichtet, dass Antworten von Sprachmodellen auf Fragen aus drei Benchmarks im Zeitverlauf länger werden: GPQA Diamond, MATH Level 5 und OTIS Mock AIME 2024–2025. Laut der Auswertung wächst die Antwortlänge bei Reasoning-Modellen mit einer angegebenen Rate von 5-fach pro Jahr, bei Modellen ohne ausgewiesenes Reasoning mit 2,2-fach. Reasoning-Modelle erzeugten demnach derzeit durchschnittlich etwa achtmal so viele Tokens. Eine Tabelle dokumentiert für viele Modelle und Aufgaben unter anderem Antwortlänge und Bestpunktzahl; die Werte unterscheiden sich deutlich zwischen Modellen und Benchmarks.

Als mögliche Erklärung für längere Reasoning-Ausgaben verweist der Bericht auf Forschung zum Zusammenhang von verstärktem RL-Training und mehr Reasoning-Tokens. Für Nicht-Reasoning-Modelle seien die Ursachen unklarer; denkbar seien längere Kontexte, Bewertungspräferenzen zugunsten ausführlicher Antworten oder Kontextdestillation aus Chain-of-Thought-Prompting. Auch die Grenze zwischen beiden Modelltypen könne künftig verschwimmen. Die Analyse stützt sich auf die genannten Benchmarks; detaillierte Angaben zu Stichprobenumfang oder statistischer Unsicherheit fehlen im Text. Die genannten Ursachen sind daher Hypothesen, keine belegten Erklärungen.

Ausführlich lesen

Der Bericht von Epoch AI untersucht, wie lang Antworten von Sprachmodellen auf Benchmarkfragen im Zeitverlauf geworden sind. Nach seiner Darstellung nehmen die Antwortlängen sowohl bei als auch bei Modellen ohne ausgewiesene Reasoning-Funktion zu. Für Reasoning-Modelle gibt Epoch AI eine deutlich schnellere Zunahme an: Die Länge wachse demnach mit einer Rate von 5-fach pro Jahr, gegenüber 2,2-fach pro Jahr bei Modellen ohne Reasoning. Zudem hätten Reasoning-Modelle aktuell im Durchschnitt etwa achtmal so viele Ausgabetokens wie die Vergleichsgruppe.

Für die Analyse wurden Daten aus Epochs Benchmarking Hub herangezogen. Verglichen wurden durchschnittliche Antwortlängen bei drei Aufgabenreihen: GPQA Diamond, MATH Level 5 und OTIS Mock AIME 2024–2025. Die beigefügte Tabelle führt für zahlreiche Modelle und Benchmarks unter anderem Veröffentlichungsdatum, erreichte Bestpunktzahl, Ausgabetokens pro Frage und die Einordnung als Reasoning-Modell auf. Die Werte zeigen große Unterschiede zwischen Modellen und Aufgaben. So liegen bei den aufgeführten Reasoning-Modellen die Antwortlängen teilweise bei mehreren Tausend Tokens und bei einzelnen AIME-Einträgen über 20.000; viele Modelle ohne ausgewiesenes Reasoning liegen deutlich darunter. Die Tabellen sind im Quelltext zweimal enthalten.

Der Bericht ordnet die Gründe unterschiedlich sicher ein. Für Reasoning-Modelle verweist er auf Forschung, nach der mehr Reinforcement-Learning-Training mit mehr Reasoning-Tokens einhergehen kann. Weshalb auch Antworten von Nicht-Reasoning-Modellen länger werden, sei weniger klar. Als mögliche Erklärungen nennt Epoch längere Kontextfenster, eine Bevorzugung längerer Antworten durch Bewertende bei der Erstellung von RLHF-Daten sowie die zunehmende Nutzung von Kontextdestillation aus Chain-of-Thought-Prompting. Diese Erklärungen werden als Möglichkeiten dargestellt, nicht als nachgewiesene Ursachen. Außerdem könne die Trennung zwischen Reasoning- und Nicht-Reasoning-Modellen bei künftigen Modellen unschärfer werden.

Die Aussagekraft ist durch die im Bericht dargestellten Angaben begrenzt: Die Analyse bezieht sich auf die genannten drei Benchmarks und die dort erfassten Modelle. Der Text nennt keine detaillierten Angaben zu Stichprobenumfang, Unsicherheitsmaßen oder statistischen Tests. Daher belegt die Darstellung einen beobachteten Zusammenhang in diesen Benchmarkdaten, aber für sich genommen weder allgemeine Antwortlängen in alltäglichen Anwendungen noch Ursachen für den Trend. Der Bericht verweist auf den verfügbaren Analysecode, erläutert dessen Methoden im vorliegenden Text jedoch nicht näher.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich nur auf den Bericht. Die Fassungen von Luna enthalten keine erfundenen Zahlen. Die Frage SF-H1 ist im Bericht nur über den Begriff Destillation berührt, nicht inhaltlich.

Im Bericht, aber nicht in der Zusammenfassung

  • Die kurze Fassung nennt die Wachstumsraten nicht (5-fach pro Jahr bei Reasoning-Modellen gegenüber 2,2-fach bei den übrigen).
  • Der Bericht sagt, dass es sich um Epochs interne Benchmarks handelt und die Daten aus dem Benchmarking Hub stammen.
  • Die Fassungen weisen nicht darauf hin, dass Reasoning-Modelle laut Bericht auch insgesamt deutlich mehr Tokens erzeugen als Nicht-Reasoning-Modelle; die mittlere Fassung erwähnt nur die 8-fache Menge ohne Einordnung als Gesamtaussage.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 40 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 77 %Hintergrund, keine Belege
    • JEV 56 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 32 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →