Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch11. Juni 2025 · Q006211

LLM providers offer a trade-off between accuracy and speed

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI berichtet für drei Benchmarks, dass niedrigere Fehlerraten auf der Pareto-Frontier meist längere Laufzeiten erfordern; für eine Halbierung der Fehlerrate werden je Benchmark etwa 1,7- bis 6-fache Laufzeiten geschätzt. Die Analyse beruht auf internen Messungen und beschreibt überwiegend OpenAI- und Google-Modelle; die Notizen listen zudem zwei Anthropic-Ergebnisse auf, deren Einzelwerte keiner Messgröße eindeutig zugeordnet sind. Die Aussagen sind auf diese Benchmarks begrenzt und belegen keine Übertragbarkeit auf andere Aufgaben.

Mittel

Epoch AI berichtet für GPQA Diamond, MATH Level 5 und OTIS Mock AIME 2024–2025 von einem Zielkonflikt: Auf den untersuchten Benchmarks geht eine niedrigere Fehlerrate entlang der Pareto-Frontier meist mit längerer Laufzeit einher. Eine Halbierung der Fehlerrate entspricht den Schätzungen zufolge etwa dem 2- bis 6-Fachen der Laufzeit; je Benchmark nennt Epoch AI Faktoren von 6,0×, 1,7× und 2,8×. Grundlage sind interne Messungen von durchschnittlicher Antwortzeit und Genauigkeit. Die Frontier umfasst Modelle, die nicht zugleich von einem anderen Modell übertroffen werden, das schneller und genauer ist. Von 19 Frontier-Modellen tragen laut Bericht 12 „flash“, „mini“ oder „nano“ im Namen; diese Bezeichnungen werden meist kleineren, auf Tempo und Kosten optimierten Versionen zugeordnet. Die Modelle stammen überwiegend von OpenAI und Google. Als weitere Möglichkeiten zur Kosten-Leistungs-Abwägung nennt der Beitrag Modellgröße, Batching und Quantisierung. Die Datensätze reichen bis Mai 2025; der Beitrag wurde am 11. Juni 2025 aktualisiert. Zwei aufgeführte Anthropic-Einträge nennen für Claude Opus 4 und Claude Sonnet 4 jeweils zwei Werte, ohne sie in den Notizen einzelnen Messgrößen zuzuordnen. Die Ergebnisse gelten nur für die drei Benchmarks und internen Messungen; eine Laufzeiteinheit oder Übertragbarkeit auf andere Aufgaben ist nicht belegt.

Ausführlich lesen

Epoch AI beschreibt für drei untersuchte Benchmarks einen Zielkonflikt zwischen Modellgenauigkeit und Laufzeit: Entlang der jeweiligen Pareto-Frontier geht eine geringere Fehlerrate meist mit längerer Laufzeit einher. Nach den Schätzungen des Beitrags entspricht eine Halbierung der Fehlerrate ungefähr einer zwei- bis sechsfachen Laufzeit. Die angegebenen Faktoren unterscheiden sich je Benchmark: 6,0× für GPQA Diamond, 1,7× für MATH Level 5 und 2,8× für OTIS Mock AIME 2024–2025.

Für die Analyse verwendete Epoch AI eigene Benchmark-Daten und betrachtete die durchschnittliche Antwortzeit sowie die Genauigkeit. Zur Pareto-Frontier zählen Modelle, für die kein anderes Modell zugleich schneller und genauer ist. Den Zusammenhang zwischen Laufzeit und Fehlerrate beschreibt der Beitrag als exponentiellen Rückgang der Fehlerrate mit dem Logarithmus der Laufzeit.

Bei den Modellen, die auf mindestens einer der drei Frontiers liegen, tragen laut Bericht 12 von 19 Namen mit „flash“, „mini“ oder „nano“. Epoch AI ordnet solche Bezeichnungen meist kleineren, auf Geschwindigkeit und Kosten ausgerichteten Modellversionen zu. Destillation wird als mögliche Technik dafür genannt. Die Frontier-Modelle stammen überwiegend von OpenAI und Google. Als weitere Wege, Leistung und Kosten auszubalancieren, nennt der Beitrag Modellgröße, Query-Batching und Quantisierung.

Die beigefügten Datensätze enthalten Modell-ID, Veröffentlichungsdatum, Laufzeit, Genauigkeit, Benchmark, Anbieter und Pareto-Status. Die aufgeführten Messungen reichen bis Mai 2025; zuletzt aktualisiert wurde der Beitrag am 11. Juni 2025. Die Notizen führen außerdem zwei Anthropic-Einträge auf: Claude Opus 4 (claude-opus-4-20250514), datiert auf den 22. Mai 2025, mit den Werten 37,22 und 0,42 für OTIS Mock AIME 2024–2025; sowie Claude Sonnet 4 (claude-sonnet-4-20250514_32K), ebenfalls vom 22. Mai 2025, mit den Werten 78,37 und 0,78 für GPQA Diamond. Die Notizen ordnen diese Werte keiner einzelnen Messgröße ausdrücklich zu.

Die Aussagekraft ist auf die drei genannten Benchmarks und Epoch AIs interne Messungen beschränkt. Die Notizen nennen keine Einheit für die Laufzeit und belegen keine Übertragbarkeit auf andere Aufgaben. Der Beitrag verweist für die Analyse auf ein Colab-Notebook.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Teilfragen-Liste der Einordnung ist leer, daher wurden nur die drei Sammelfragen bewertet. Die Zusammenfassung ist im Kern richtig, enthält aber zwei nicht belegte Behauptungen zu Anthropic-Einträgen und lässt zentrale Befunde wie die Zählung der flash, mini und nano-Modelle und die Methodik aus.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Methodik: Die Fehlerrate wird als exponentieller Abfall gegenüber dem Logarithmus der Laufzeit modelliert (in keiner Fassung genannt).
  • Die Angabe, dass über die Hälfte der Modelle die Bezeichnungen turbo, flash, mini oder nano trägt, fehlt in der kurzen Fassung.
  • Die Angabe 12 von 19 Frontier-Modellen mit flash, mini oder nano fehlt in der kurzen Fassung.
  • Der Hinweis, dass solche Modelle meist durch Techniken wie Destillation auf Geschwindigkeit und Kosten optimiert sind, fehlt in beiden Fassungen weitgehend.
  • Der Verweis auf den veröffentlichten Analysecode fehlt in beiden Fassungen.

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Behauptung, die Notizen listen zwei Anthropic-Ergebnisse auf, deren Einzelwerte keiner Messgröße eindeutig zuzuordnen sind, steht so nicht im Bericht; die Anthropic-Zeilen sind Tabellendaten mit benannten Messgrößen.
  • Die Behauptung, zwei Anthropic-Einträge nennen für Claude Opus 4 und Claude Sonnet 4 jeweils zwei Werte ohne Zuordnung zu Messgrößen, ist im Bericht nicht belegt.
  • Die mittlere Fassung behauptet, die Datensätze reichten bis Mai 2025; das stimmt zwar grob (letzter Eintrag 28. Mai 2025), wird aber ohne Beleg als Abgrenzung dargestellt.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 66 %Hintergrund, keine Belege
    • JEV offen
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV offen
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 70 %Hintergrund, keine Belege
    • JEV offen
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →