Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch6. Juni 2024 · Q005715

Will we run out of data to train large language models?

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI schätzt den effektiven Bestand hochwertiger öffentlicher Textdaten auf rund 300 Billionen Tokens und projiziert, dass er je nach Trainingsstrategie zwischen 2025 und 2032 vollständig genutzt werden könnte. Die spätere Prognose gegenüber der Schätzung von 2022 beruht vor allem auf der größeren Nutzbarkeit gefilterter Webdaten und der Möglichkeit, Trainingsdaten mehrfach zu verwenden; die Zeitangaben sind unsicher und annahmenabhängig.

Mittel

Der Bericht schätzt, wie lange öffentlich verfügbare, von Menschen erzeugte Texte für das Training großer Sprachmodelle reichen könnten. Epoch AI veranschlagt den effektiven Bestand hochwertiger Textdaten auf rund 300 Billionen Tokens; das 90-Prozent-Konfidenzintervall liegt zwischen 100 und 1.000 Billionen. Berücksichtigt werden Datenqualität und die Möglichkeit, Trainingsdaten mehrfach zu verwenden. Zwei Prognoseansätze – die Fortschreibung bisheriger Datensatzgrößen und eine an erwartetes Rechenwachstum gekoppelte Schätzung – ergeben ein 80-Prozent-Intervall von 2026 bis 2032 für die vollständige Nutzung.

Der Zeitpunkt hängt von der Trainingsstrategie ab. Bei recheneffizientem Training könnte der Bestand laut Bericht bis zu einem für 2028 erwarteten Modell mit 5 × 10²⁸ FLOP reichen. Übertraining mit mehr Daten kann Inferenz effizienter machen, beschleunigt aber den Verbrauch: Die Projektion nennt 2027 bei fünffachem und 2025 bei hundertfachem Übertraining. Die frühere Prognose von 2022 hatte 2024 erwartet. Neuere Erkenntnisse über gefilterte Webdaten und mehrfache Datennutzung erklären die höhere aktuelle Schätzung. Diese Termine bleiben von Annahmen über Daten, Rechenwachstum und Trainingsweise abhängig; es handelt sich um Projektionen, nicht um sichere Vorhersagen.

Ausführlich lesen

Der Bericht untersucht, ob ein Mangel an öffentlich verfügbaren, von Menschen erzeugten Textdaten das Wachstum großer Sprachmodelle bremsen könnte. Bisher wurde die Entwicklung vor allem durch mehr Rechenleistung und größere Trainingsdatensätze vorangetrieben. Weil die Menge menschlicher Texte begrenzt ist, schätzt Epoch AI den verfügbaren Datenbestand und modelliert, wann er bei unterschiedlichen Trainingsstrategien aufgebraucht sein könnte.

Die Forschenden schätzen den effektiven Bestand an hochwertigen öffentlichen Textdaten auf rund 300 Billionen Tokens. Ihr 90-Prozent-Konfidenzintervall reicht von 100 bis 1.000 Billionen Tokens. Die Schätzung berücksichtigt sowohl die Eignung der Daten für das Training als auch, dass Trainingsdaten mehrfach durchlaufen werden können. Für die zeitliche Prognose kombinieren sie zwei Ansätze: eine Fortschreibung des bisherigen Wachstums von Datensätzen und eine Schätzung, die aus dem erwarteten Wachstum der Rechenleistung abgeleitet wird. Daraus ergibt sich ein 80-Prozent-Konfidenzintervall, dem zufolge der Bestand zwischen 2026 und 2032 vollständig genutzt werden könnte.

Der Zeitpunkt hängt laut Bericht stark davon ab, wie Modelle trainiert werden. Bei einer recheneffizienten, sogenannten compute-optimalen Skalierung reiche der Bestand für ein Modell mit 5 × 10²⁸ FLOP, eine Rechenmenge, die die Autorinnen und Autoren für 2028 erwarten. Manche Modelle werden jedoch mit mehr Daten und weniger Parametern trainiert, als diese Skalierung vorsieht. Das kann den späteren Inferenzbetrieb effizienter machen, verbraucht aber mehr Trainingsdaten. Ein vereinfachtes Modell zu Einnahmen und Kosten legt den Forschenden zufolge nahe, dass eine solche Übertrainierung je nach Nachfrage nach Inferenzleistung für Entwickler wirtschaftlich sein könnte. Bei fünffacher Übertrainierung wäre der Datenbestand ihrer Projektion nach 2027 erschöpft, bei hundertfacher bereits 2025. Als Vergleich nennen sie Llama 3-70B, das zehnfach übertrainiert worden sei.

Die neue Einschätzung verschiebt eine frühere Prognose: Eine Analyse von 2022 hatte die vollständige Nutzung hochwertiger Textdaten für 2024 vorhergesagt. Der Bericht führt die Abweichung auf veränderte Annahmen und neuere Forschung zurück. Sorgfältig gefilterte Webdaten könnten leistungsfähiger sein als zuvor angenommen und sind in größerer Menge verfügbar; dadurch stieg die Schätzung des hochwertigen Bestands um den Faktor fünf. Zudem könnten Modelle Trainingsdaten mehrfach nutzen, ohne dass ihre Leistung stark nachlasse. Das erhöhe den effektiven Bestand laut Bericht zusätzlich um den Faktor zwei bis fünf.

Die Ergebnisse sind Schätzungen und Szenarien, keine Gewissheit über den tatsächlichen Zeitpunkt eines Datenengpasses. Die Prognosen hängen von Datenqualität, Wiederverwendung, Rechenwachstum und der gewählten Trainingsstrategie ab. Der Bericht beschreibt außerdem ein vereinfachtes Wirtschaftsmodell; die Textfassung der Abbildungen enthält keine auswertbaren Grafikdaten. Die abschließende Beschreibung einer nachgereichten vierten Abbildung bricht im bereitgestellten Text ab.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Stufen wurden unabhängig von Lunas Stufen und Anteilswerten vergeben. Lunas Liste der Teilfragen war leer, daher gibt es dazu keine Einträge. Die Zusammenfassungen sind inhaltlich weitgehend treu, die Zeitspanne 2025 bis 2032 ist jedoch verkürzt dargestellt.

Im Bericht, aber nicht in der Zusammenfassung

  • Die frühere Prognose von 2024 gegenüber der neuen Schätzung 2028 fehlt in der kurzen Fassung. Die mittlere Fassung nennt sie.
  • Das 90-Prozent-Konfidenzintervall von 100 bis 1.000 Billionen Tokens fehlt in der kurzen Fassung.
  • Der Verweis auf 5 × 10²⁸ FLOP als Grenze bei recheneffizientem Training fehlt in der kurzen Fassung.
  • Der gewinnoptimale Übertrainingsfaktor von bis zu etwa 100x und der Vergleichswert Llama 3-70B mit 10x fehlen in beiden Fassungen.
  • Die Gründe für die Revision (rund 10 Billionen Tokens 2022, Faktor 5 durch gefilterte Webdaten, Faktor 2 bis 5 durch Mehrfach-Epochen) werden in beiden Fassungen nur allgemein umschrieben.

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Spanne 2025 bis 2032 wird als Ergebnis je nach Trainingsstrategie dargestellt. Der Bericht nennt 2026 bis 2032 als 80-Prozent-Intervall für die Gesamtprognose und 2025 bis 2030 als Spanne je nach Übertraining (Abbildung 3).

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 62 %Hintergrund, keine Belege
    • JEV 30 %Hintergrund, keine Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 40 %gleiches Oberthema, hilft nicht
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 29 %Hintergrund, keine Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 29 %Hintergrund, keine Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 82 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 39 %Hintergrund, keine Belege
    • amos 57 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →