LLM inference prices have fallen rapidly but unequally across tasks
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der vorliegende Text ist ein Auszug aus Notizen zu einem Epoch-AI-Bericht, der je nach Benchmark jährliche Preisrückgänge von etwa 9- bis 900-fach für das Erreichen bestimmter Leistungsziele berichtet. Die Analyse vergleicht die günstigsten Modelle oberhalb verschiedener Schwellen; Ursachen wie kleinere Modelle und effizientere Hardware werden als Möglichkeiten genannt, aber nicht kausal untersucht. Methodische Details und Unsicherheiten fehlen in den Notizen teilweise, und einige Tabellenbezeichnungen bleiben uneindeutig.
Mittel
Der vorliegende Quelltext ist ein Auszug aus Abschnittsnotizen zu einem Epoch-AI-Bericht vom 12. März 2025 über sinkende Preise für Sprachmodelle. Laut Bericht gingen die Kosten, ein festgelegtes Benchmark-Niveau zu erreichen, je nach Aufgabe jährlich etwa um das 9- bis 900-Fache zurück. Die größten Rückgänge lagen im letzten untersuchten Jahr; ob sie anhalten, ist unklar. Die Spannen unterscheiden sich nach Aufgabe: etwa 9–40-fach bei MMLU und HumanEval, 40–900-fach bei GPQA Diamond, bis zu 700-fach bei den Mathematik-Benchmarks und 10–200-fach bei Arena ELO.
Die Analyse verwendete API-Preise und Benchmarkwerte von Artificial Analysis und Epoch AI. Je Benchmark und Leistungsziel wurden die günstigsten Modelle ausgewählt, die den Zielwert erreichten oder übertrafen; ihre Preise über die Zeit wurden mit log-linearer Regression ausgewertet. Kleinere Modelle und effizientere Hardware nennt Epoch AI als mögliche Ursachen, modelliert die Ursachen aber nicht ausdrücklich. Für einen Einfluss sinkender Gewinnmargen habe man keine klaren Belege gefunden.
Tabellenbeispiele zeigen niedrige Preise für Gemini 2.0 Flash und Phi 4 bei mehreren Benchmarks. Die Notizen erläutern jedoch weder Testprotokolle und Unsicherheitsmaße noch die Berechnung des „Predicted log price“. Tabellen wiederholen sich, und Bezeichnungen wie „MATH 5“ bleiben uneindeutig. Die Zahlen sind daher als berichtete Schätzungen und Tabellenwerte zu lesen.
Ausführlich lesen
Der vorliegende Quelltext ist ein Auszug in Form von Notizen zu mehreren Abschnitten eines Epoch-AI-Berichts von Ben Cottier mit Stand vom 12. März 2025. Er behandelt, wie sich die Preise für Sprachmodelle verändert haben, wenn man Modelle vergleicht, die bestimmte Leistungsziele in Benchmarks erreichen. Laut Bericht sanken die Kosten dafür je nach Aufgabe ungefähr um das 9- bis 900-Fache pro Jahr. Die größten Rückgänge entfielen auf das letzte Jahr des untersuchten Zeitraums; ob sich dieser Trend fortsetzt, bleibt laut Einleitung offen.
Die angegebenen jährlichen Rückgänge variieren stark nach Benchmark: für MMLU, das Allgemeinwissen prüft, nennt der Bericht etwa das 9- bis 40-Fache; für GPQA Diamond, Fragen auf PhD-Niveau, das 40- bis 900-Fache. Für MATH-500 und die als „MATH 5“ bezeichnete fortgeschrittene Mathematik werden Bereiche von 20- bis 700- beziehungsweise 70- bis 700-fach ausgewiesen. Bei HumanEval für Coding lautet die Spanne 9- bis 40-fach, bei der LMSys Chatbot Arena ELO 10- bis 200-fach. Als Beispiel führt die Einleitung an, dass der Preis für GPT-4-Leistung bei wissenschaftlichen Fragen auf PhD-Niveau jährlich um das 40-Fache gesunken sei. Diese Zahlen sind berichtete Schätzungen, keine Garantie für künftige Preisentwicklungen.
Nach den Notizen stützt sich die Analyse auf LLM-API-Preise und Benchmarkwerte von Artificial Analysis und Epoch AI. Für verschiedene Benchmarks und Leistungsziele wurden jeweils die günstigsten Modelle ermittelt, die den Zielwert erreichten oder übertrafen. Auf deren Preisverläufe wurde eine log-lineare Regression angewandt. Die Untersuchung wiederholte sich mit mehreren Schwellenwerten, darunter Leistungsniveaus, die GPT-3.5 oder GPT-4o zugeordnet waren. Als mögliche Gründe für die sinkenden Preise nennt Epoch AI kleinere Modelle und effizientere Hardware. Weitere Faktoren seien anhand öffentlicher Informationen schwer festzustellen. Die Studie modellierte die Ursachen nicht ausdrücklich; niedrigere Gewinnmargen könnten mitgewirkt haben, dafür fand Epoch AI laut Notizen jedoch keine klaren Belege.
Die Tabellen führen Benchmark-Schwellen, Modellnamen, Veröffentlichungsdaten und Preise in US-Dollar je eine Million Tokens auf; detailliertere Fassungen enthalten auch Benchmark-Scores und einen „Predicted log price“. Beispiele sind Gemini 2.0 Flash mit MMLU-Score 88 bei 0,18 Dollar, Phi 4 mit GPQA-Diamond-Score 53 und HumanEval-Score 87 bei jeweils 0,12 Dollar sowie Gemini 2.0 Flash mit Arena-ELO 1.358 bei 0,18 Dollar. Die Notizen vermerken große Preisunterschiede, etwa MMLU-Einträge von 0,07 Dollar für Gemini-1.5-Flash-8B bis 37,50 Dollar für GPT-4-0314. Einzelpreise sind dabei tabellarische Datenpunkte und nicht selbst die jährlichen Rückgangsraten.
Die verfügbaren Notizen geben wichtige Grenzen vor: Sie erläutern weder die Berechnung des vorhergesagten Log-Preises noch Testprotokolle, Unsicherheitsmaße und die genaue Preisdefinition über die Angabe je eine Million Tokens hinaus. Tabellenfassungen wiederholen sich und unterscheiden sich in Bezeichnungen und Abdeckung; insbesondere bleibt das Verhältnis von „MATH 5“ zu „MATH-500“ ungeklärt. Die Ergebnisse sollten daher als Zusammenfassung der berichteten Analyse und Tabellen verstanden werden, nicht als vollständige Darstellung sämtlicher Methoden und Einschränkungen des Berichts.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV
- amos 30 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv