Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch19. Juni 2024 · Q006012

Training compute costs are doubling every eight months for the largest AI models

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Epoch AI zufolge verdoppeln sich die geschätzten Trainingskosten der größten KI-Modelle etwa alle acht Monate; rund die Hälfte entfalle auf GPUs, der Rest auf weitere Hardware und Energie. Eine Tabelle mit 59 Modellen zeigt Kostenwerte von 2016 bis 2025, doch der Auszug erläutert die Einzelberechnungen und Unsicherheiten nicht näher.

Mittel

Epoch AI berichtet, dass die Trainingskosten der größten KI-Modelle ungefähr alle acht Monate auf das Doppelte steigen. Im Einführungstext heißt es außerdem, die Ausgaben für große ML-Modelle nähmen jährlich um den Faktor 2,4 zu. Laut Bericht wird etwa die Hälfte der Kosten GPUs zugerechnet; der Rest entfalle auf weitere Hardware und Energie. Die Clusterkosten werden über die Trainingsdauer verteilt berechnet.

Eine Tabelle mit 59 Modellen nennt geschätzten Rechenaufwand, Trainingskosten in US-Dollar mit Preisbasis 2023, Organisation und Veröffentlichungsdatum. Sie reicht von vergleichsweise günstigen Trainingsläufen früher Modelle bis zu Schätzungen von 40 Millionen Dollar für GPT-4 und 500 Millionen Dollar für Grok 4. Die Sammlung umfasst verschiedene Modellbereiche und Daten von 2016 bis 2025.

Der Auszug beschreibt nicht im Einzelnen, wie die Kosten pro Modell geschätzt wurden oder wie repräsentativ die Auswahl ist. Die erwähnte Grafik ist nicht sichtbar, sodass die Wachstumsraten hier nicht unabhängig aus einer Kurve nachvollzogen werden können.

Ausführlich lesen

Der Bericht von Epoch AI behandelt die Entwicklung der geschätzten Trainingskosten großer KI-Modelle. Seine zentrale Aussage lautet, dass die Kosten für die größten Modelle ungefähr alle acht Monate auf das Doppelte steigen. Im einleitenden Text wird das Wachstum der Ausgaben für das Training großer ML-Modelle mit etwa dem 2,4-Fachen pro Jahr angegeben. Diese Zahlen sind Aussagen des Berichts; der vorliegende Text erläutert nicht, wie genau die Wachstumsraten berechnet wurden.

Die Kostenangaben sollen die Ausgaben für Hardware und Energie abbilden. Der Bericht erklärt, dass dafür die Clusterkosten über den Trainingszeitraum verteilt angesetzt werden. Etwa die Hälfte der Ausgaben entfalle auf GPUs, der Rest auf weitere Hardware und Energie. Die Tabelle führt für 59 Modelle unter anderem den geschätzten Rechenaufwand in FLOP, die Trainingskosten in US-Dollar mit Preisbasis 2023, die Organisation und das Veröffentlichungsdatum auf.

Die aufgeführten Beispiele reichen von frühen Modellen mit Kosten im Bereich von Hunderten oder Tausenden Dollar bis zu sehr teuren jüngeren Trainingsläufen. Für GPT-3 werden etwa 2 Millionen Dollar, für GPT-4 rund 40 Millionen und für Grok 4 500 Millionen Dollar angegeben. Die Tabelle umfasst verschiedene Einsatzfelder, darunter Sprache, Bildgenerierung, Vision, Spiele und multimodale Modelle. Sie enthält Veröffentlichungsdaten von 2016 bis 2025.

Die Datensammlung macht anhand dieser Schätzwerte den starken Anstieg der ausgewiesenen Trainingskosten sichtbar. Sie liefert zugleich einzelne Modellwerte statt einer ausführlich beschriebenen statistischen Untersuchung. Im bereitgestellten Text fehlen Angaben dazu, wie die Kosten für jedes einzelne Modell ermittelt wurden, wie vollständig oder repräsentativ die Auswahl ist und welche Unsicherheiten die Schätzungen haben. Auch die angekündigte Grafik liegt hier nur als Verweis vor; ihre Kurve und weitere Erläuterungen sind nicht enthalten. Die Wachstumsraten sind daher als berichtete Zusammenfassung zu verstehen, nicht als im Auszug nachvollziehbar hergeleitete Berechnung.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 30 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 23 %Hintergrund, keine Belege
    • Luna 42 %Hintergrund, keine Belege
    • JEV 39 %gleiches Oberthema, hilft nicht
    • amos 25 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 40 %gleiches Oberthema, hilft nicht

    • SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät? Luna: Stufe 3 · 64 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht

  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 32 %gleiches Oberthema, hilft nicht
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 38 %gleiches Oberthema, hilft nicht
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 63 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 66 %Hintergrund, keine Belege
    • JEV 35 %gleiches Oberthema, hilft nicht
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 57 %Hintergrund, keine Belege
    • JEV 42 %Hintergrund, keine Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →