Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch12. März 2025 · Q006216

LLM inference prices have fallen rapidly but unequally across tasks

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Text ist ein Auszug aus Notizen zu einem Epoch-AI-Bericht, der je nach Benchmark jährliche Preisrückgänge von etwa 9- bis 900-fach für das Erreichen bestimmter Leistungsziele berichtet. Die Analyse vergleicht die günstigsten Modelle oberhalb verschiedener Schwellen; Ursachen wie kleinere Modelle und effizientere Hardware werden als Möglichkeiten genannt, aber nicht kausal untersucht. Methodische Details und Unsicherheiten fehlen in den Notizen teilweise, und einige Tabellenbezeichnungen bleiben uneindeutig.

Mittel

Der vorliegende Quelltext ist ein Auszug aus Abschnittsnotizen zu einem Epoch-AI-Bericht vom 12. März 2025 über sinkende Preise für Sprachmodelle. Laut Bericht gingen die Kosten, ein festgelegtes Benchmark-Niveau zu erreichen, je nach Aufgabe jährlich etwa um das 9- bis 900-Fache zurück. Die größten Rückgänge lagen im letzten untersuchten Jahr; ob sie anhalten, ist unklar. Die Spannen unterscheiden sich nach Aufgabe: etwa 9–40-fach bei MMLU und HumanEval, 40–900-fach bei GPQA Diamond, bis zu 700-fach bei den Mathematik-Benchmarks und 10–200-fach bei Arena ELO.

Die Analyse verwendete API-Preise und Benchmarkwerte von Artificial Analysis und Epoch AI. Je Benchmark und Leistungsziel wurden die günstigsten Modelle ausgewählt, die den Zielwert erreichten oder übertrafen; ihre Preise über die Zeit wurden mit log-linearer Regression ausgewertet. Kleinere Modelle und effizientere Hardware nennt Epoch AI als mögliche Ursachen, modelliert die Ursachen aber nicht ausdrücklich. Für einen Einfluss sinkender Gewinnmargen habe man keine klaren Belege gefunden.

Tabellenbeispiele zeigen niedrige Preise für Gemini 2.0 Flash und Phi 4 bei mehreren Benchmarks. Die Notizen erläutern jedoch weder Testprotokolle und Unsicherheitsmaße noch die Berechnung des „Predicted log price“. Tabellen wiederholen sich, und Bezeichnungen wie „MATH 5“ bleiben uneindeutig. Die Zahlen sind daher als berichtete Schätzungen und Tabellenwerte zu lesen.

Ausführlich lesen

Der vorliegende Quelltext ist ein Auszug in Form von Notizen zu mehreren Abschnitten eines Epoch-AI-Berichts von Ben Cottier mit Stand vom 12. März 2025. Er behandelt, wie sich die Preise für Sprachmodelle verändert haben, wenn man Modelle vergleicht, die bestimmte Leistungsziele in Benchmarks erreichen. Laut Bericht sanken die Kosten dafür je nach Aufgabe ungefähr um das 9- bis 900-Fache pro Jahr. Die größten Rückgänge entfielen auf das letzte Jahr des untersuchten Zeitraums; ob sich dieser Trend fortsetzt, bleibt laut Einleitung offen.

Die angegebenen jährlichen Rückgänge variieren stark nach Benchmark: für MMLU, das Allgemeinwissen prüft, nennt der Bericht etwa das 9- bis 40-Fache; für GPQA Diamond, Fragen auf PhD-Niveau, das 40- bis 900-Fache. Für MATH-500 und die als „MATH 5“ bezeichnete fortgeschrittene Mathematik werden Bereiche von 20- bis 700- beziehungsweise 70- bis 700-fach ausgewiesen. Bei HumanEval für Coding lautet die Spanne 9- bis 40-fach, bei der LMSys Chatbot Arena ELO 10- bis 200-fach. Als Beispiel führt die Einleitung an, dass der Preis für GPT-4-Leistung bei wissenschaftlichen Fragen auf PhD-Niveau jährlich um das 40-Fache gesunken sei. Diese Zahlen sind berichtete Schätzungen, keine Garantie für künftige Preisentwicklungen.

Nach den Notizen stützt sich die Analyse auf LLM-API-Preise und Benchmarkwerte von Artificial Analysis und Epoch AI. Für verschiedene Benchmarks und Leistungsziele wurden jeweils die günstigsten Modelle ermittelt, die den Zielwert erreichten oder übertrafen. Auf deren Preisverläufe wurde eine log-lineare Regression angewandt. Die Untersuchung wiederholte sich mit mehreren Schwellenwerten, darunter Leistungsniveaus, die GPT-3.5 oder GPT-4o zugeordnet waren. Als mögliche Gründe für die sinkenden Preise nennt Epoch AI kleinere Modelle und effizientere Hardware. Weitere Faktoren seien anhand öffentlicher Informationen schwer festzustellen. Die Studie modellierte die Ursachen nicht ausdrücklich; niedrigere Gewinnmargen könnten mitgewirkt haben, dafür fand Epoch AI laut Notizen jedoch keine klaren Belege.

Die Tabellen führen Benchmark-Schwellen, Modellnamen, Veröffentlichungsdaten und Preise in US-Dollar je eine Million Tokens auf; detailliertere Fassungen enthalten auch Benchmark-Scores und einen „Predicted log price“. Beispiele sind Gemini 2.0 Flash mit MMLU-Score 88 bei 0,18 Dollar, Phi 4 mit GPQA-Diamond-Score 53 und HumanEval-Score 87 bei jeweils 0,12 Dollar sowie Gemini 2.0 Flash mit Arena-ELO 1.358 bei 0,18 Dollar. Die Notizen vermerken große Preisunterschiede, etwa MMLU-Einträge von 0,07 Dollar für Gemini-1.5-Flash-8B bis 37,50 Dollar für GPT-4-0314. Einzelpreise sind dabei tabellarische Datenpunkte und nicht selbst die jährlichen Rückgangsraten.

Die verfügbaren Notizen geben wichtige Grenzen vor: Sie erläutern weder die Berechnung des vorhergesagten Log-Preises noch Testprotokolle, Unsicherheitsmaße und die genaue Preisdefinition über die Angabe je eine Million Tokens hinaus. Tabellenfassungen wiederholen sich und unterscheiden sich in Bezeichnungen und Abdeckung; insbesondere bleibt das Verhältnis von „MATH 5“ zu „MATH-500“ ungeklärt. Die Ergebnisse sollten daher als Zusammenfassung der berichteten Analyse und Tabellen verstanden werden, nicht als vollständige Darstellung sämtlicher Methoden und Einschränkungen des Berichts.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Unabhängig prüfen
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV offen
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV offen
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV offen
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV offen
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV offen
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV offen
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →