LLM providers offer a trade-off between accuracy and speed
Zusammenfassung
Kurz
Epoch AI berichtet für drei Benchmarks, dass niedrigere Fehlerraten auf der Pareto-Frontier meist längere Laufzeiten erfordern; für eine Halbierung der Fehlerrate werden je Benchmark etwa 1,7- bis 6-fache Laufzeiten geschätzt. Die Analyse beruht auf internen Messungen und beschreibt überwiegend OpenAI- und Google-Modelle; die Notizen listen zudem zwei Anthropic-Ergebnisse auf, deren Einzelwerte keiner Messgröße eindeutig zugeordnet sind. Die Aussagen sind auf diese Benchmarks begrenzt und belegen keine Übertragbarkeit auf andere Aufgaben.
Mittel
Epoch AI berichtet für GPQA Diamond, MATH Level 5 und OTIS Mock AIME 2024–2025 von einem Zielkonflikt: Auf den untersuchten Benchmarks geht eine niedrigere Fehlerrate entlang der Pareto-Frontier meist mit längerer Laufzeit einher. Eine Halbierung der Fehlerrate entspricht den Schätzungen zufolge etwa dem 2- bis 6-Fachen der Laufzeit; je Benchmark nennt Epoch AI Faktoren von 6,0×, 1,7× und 2,8×. Grundlage sind interne Messungen von durchschnittlicher Antwortzeit und Genauigkeit. Die Frontier umfasst Modelle, die nicht zugleich von einem anderen Modell übertroffen werden, das schneller und genauer ist. Von 19 Frontier-Modellen tragen laut Bericht 12 „flash“, „mini“ oder „nano“ im Namen; diese Bezeichnungen werden meist kleineren, auf Tempo und Kosten optimierten Versionen zugeordnet. Die Modelle stammen überwiegend von OpenAI und Google. Als weitere Möglichkeiten zur Kosten-Leistungs-Abwägung nennt der Beitrag Modellgröße, Batching und Quantisierung. Die Datensätze reichen bis Mai 2025; der Beitrag wurde am 11. Juni 2025 aktualisiert. Zwei aufgeführte Anthropic-Einträge nennen für Claude Opus 4 und Claude Sonnet 4 jeweils zwei Werte, ohne sie in den Notizen einzelnen Messgrößen zuzuordnen. Die Ergebnisse gelten nur für die drei Benchmarks und internen Messungen; eine Laufzeiteinheit oder Übertragbarkeit auf andere Aufgaben ist nicht belegt.
Ausführlich lesen
Epoch AI beschreibt für drei untersuchte Benchmarks einen Zielkonflikt zwischen Modellgenauigkeit und Laufzeit: Entlang der jeweiligen Pareto-Frontier geht eine geringere Fehlerrate meist mit längerer Laufzeit einher. Nach den Schätzungen des Beitrags entspricht eine Halbierung der Fehlerrate ungefähr einer zwei- bis sechsfachen Laufzeit. Die angegebenen Faktoren unterscheiden sich je Benchmark: 6,0× für GPQA Diamond, 1,7× für MATH Level 5 und 2,8× für OTIS Mock AIME 2024–2025.
Für die Analyse verwendete Epoch AI eigene Benchmark-Daten und betrachtete die durchschnittliche Antwortzeit sowie die Genauigkeit. Zur Pareto-Frontier zählen Modelle, für die kein anderes Modell zugleich schneller und genauer ist. Den Zusammenhang zwischen Laufzeit und Fehlerrate beschreibt der Beitrag als exponentiellen Rückgang der Fehlerrate mit dem Logarithmus der Laufzeit.
Bei den Modellen, die auf mindestens einer der drei Frontiers liegen, tragen laut Bericht 12 von 19 Namen mit „flash“, „mini“ oder „nano“. Epoch AI ordnet solche Bezeichnungen meist kleineren, auf Geschwindigkeit und Kosten ausgerichteten Modellversionen zu. Destillation wird als mögliche Technik dafür genannt. Die Frontier-Modelle stammen überwiegend von OpenAI und Google. Als weitere Wege, Leistung und Kosten auszubalancieren, nennt der Beitrag Modellgröße, Query-Batching und Quantisierung.
Die beigefügten Datensätze enthalten Modell-ID, Veröffentlichungsdatum, Laufzeit, Genauigkeit, Benchmark, Anbieter und Pareto-Status. Die aufgeführten Messungen reichen bis Mai 2025; zuletzt aktualisiert wurde der Beitrag am 11. Juni 2025. Die Notizen führen außerdem zwei Anthropic-Einträge auf: Claude Opus 4 (claude-opus-4-20250514), datiert auf den 22. Mai 2025, mit den Werten 37,22 und 0,42 für OTIS Mock AIME 2024–2025; sowie Claude Sonnet 4 (claude-sonnet-4-20250514_32K), ebenfalls vom 22. Mai 2025, mit den Werten 78,37 und 0,78 für GPQA Diamond. Die Notizen ordnen diese Werte keiner einzelnen Messgröße ausdrücklich zu.
Die Aussagekraft ist auf die drei genannten Benchmarks und Epoch AIs interne Messungen beschränkt. Die Notizen nennen keine Einheit für die Laufzeit und belegen keine Übertragbarkeit auf andere Aufgaben. Der Beitrag verweist für die Analyse auf ein Colab-Notebook.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Teilfragen-Liste der Einordnung ist leer, daher wurden nur die drei Sammelfragen bewertet. Die Zusammenfassung ist im Kern richtig, enthält aber zwei nicht belegte Behauptungen zu Anthropic-Einträgen und lässt zentrale Befunde wie die Zählung der flash, mini und nano-Modelle und die Methodik aus.
Im Bericht, aber nicht in der Zusammenfassung
- Die Methodik: Die Fehlerrate wird als exponentieller Abfall gegenüber dem Logarithmus der Laufzeit modelliert (in keiner Fassung genannt).
- Die Angabe, dass über die Hälfte der Modelle die Bezeichnungen turbo, flash, mini oder nano trägt, fehlt in der kurzen Fassung.
- Die Angabe 12 von 19 Frontier-Modellen mit flash, mini oder nano fehlt in der kurzen Fassung.
- Der Hinweis, dass solche Modelle meist durch Techniken wie Destillation auf Geschwindigkeit und Kosten optimiert sind, fehlt in beiden Fassungen weitgehend.
- Der Verweis auf den veröffentlichten Analysecode fehlt in beiden Fassungen.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Behauptung, die Notizen listen zwei Anthropic-Ergebnisse auf, deren Einzelwerte keiner Messgröße eindeutig zuzuordnen sind, steht so nicht im Bericht; die Anthropic-Zeilen sind Tabellendaten mit benannten Messgrößen.
- Die Behauptung, zwei Anthropic-Einträge nennen für Claude Opus 4 und Claude Sonnet 4 jeweils zwei Werte ohne Zuordnung zu Messgrößen, ist im Bericht nicht belegt.
- Die mittlere Fassung behauptet, die Datensätze reichten bis Mai 2025; das stimmt zwar grob (letzter Eintrag 28. Mai 2025), wird aber ohne Beleg als Abgrenzung dargestellt.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 66 %Hintergrund, keine Belege
- JEV
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 56 %Hintergrund, keine Belege
- JEV
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 32 %gleiches Oberthema, hilft nicht
- JEV
- amos 33 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 70 %Hintergrund, keine Belege
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv