Will we run out of data to train large language models?
Zusammenfassung
Kurz
Epoch AI schätzt den effektiven Bestand hochwertiger öffentlicher Textdaten auf rund 300 Billionen Tokens und projiziert, dass er je nach Trainingsstrategie zwischen 2025 und 2032 vollständig genutzt werden könnte. Die spätere Prognose gegenüber der Schätzung von 2022 beruht vor allem auf der größeren Nutzbarkeit gefilterter Webdaten und der Möglichkeit, Trainingsdaten mehrfach zu verwenden; die Zeitangaben sind unsicher und annahmenabhängig.
Mittel
Der Bericht schätzt, wie lange öffentlich verfügbare, von Menschen erzeugte Texte für das Training großer Sprachmodelle reichen könnten. Epoch AI veranschlagt den effektiven Bestand hochwertiger Textdaten auf rund 300 Billionen Tokens; das 90-Prozent-Konfidenzintervall liegt zwischen 100 und 1.000 Billionen. Berücksichtigt werden Datenqualität und die Möglichkeit, Trainingsdaten mehrfach zu verwenden. Zwei Prognoseansätze – die Fortschreibung bisheriger Datensatzgrößen und eine an erwartetes Rechenwachstum gekoppelte Schätzung – ergeben ein 80-Prozent-Intervall von 2026 bis 2032 für die vollständige Nutzung.
Der Zeitpunkt hängt von der Trainingsstrategie ab. Bei recheneffizientem Training könnte der Bestand laut Bericht bis zu einem für 2028 erwarteten Modell mit 5 × 10²⁸ FLOP reichen. Übertraining mit mehr Daten kann Inferenz effizienter machen, beschleunigt aber den Verbrauch: Die Projektion nennt 2027 bei fünffachem und 2025 bei hundertfachem Übertraining. Die frühere Prognose von 2022 hatte 2024 erwartet. Neuere Erkenntnisse über gefilterte Webdaten und mehrfache Datennutzung erklären die höhere aktuelle Schätzung. Diese Termine bleiben von Annahmen über Daten, Rechenwachstum und Trainingsweise abhängig; es handelt sich um Projektionen, nicht um sichere Vorhersagen.
Ausführlich lesen
Der Bericht untersucht, ob ein Mangel an öffentlich verfügbaren, von Menschen erzeugten Textdaten das Wachstum großer Sprachmodelle bremsen könnte. Bisher wurde die Entwicklung vor allem durch mehr Rechenleistung und größere Trainingsdatensätze vorangetrieben. Weil die Menge menschlicher Texte begrenzt ist, schätzt Epoch AI den verfügbaren Datenbestand und modelliert, wann er bei unterschiedlichen Trainingsstrategien aufgebraucht sein könnte.
Die Forschenden schätzen den effektiven Bestand an hochwertigen öffentlichen Textdaten auf rund 300 Billionen Tokens. Ihr 90-Prozent-Konfidenzintervall reicht von 100 bis 1.000 Billionen Tokens. Die Schätzung berücksichtigt sowohl die Eignung der Daten für das Training als auch, dass Trainingsdaten mehrfach durchlaufen werden können. Für die zeitliche Prognose kombinieren sie zwei Ansätze: eine Fortschreibung des bisherigen Wachstums von Datensätzen und eine Schätzung, die aus dem erwarteten Wachstum der Rechenleistung abgeleitet wird. Daraus ergibt sich ein 80-Prozent-Konfidenzintervall, dem zufolge der Bestand zwischen 2026 und 2032 vollständig genutzt werden könnte.
Der Zeitpunkt hängt laut Bericht stark davon ab, wie Modelle trainiert werden. Bei einer recheneffizienten, sogenannten compute-optimalen Skalierung reiche der Bestand für ein Modell mit 5 × 10²⁸ FLOP, eine Rechenmenge, die die Autorinnen und Autoren für 2028 erwarten. Manche Modelle werden jedoch mit mehr Daten und weniger Parametern trainiert, als diese Skalierung vorsieht. Das kann den späteren Inferenzbetrieb effizienter machen, verbraucht aber mehr Trainingsdaten. Ein vereinfachtes Modell zu Einnahmen und Kosten legt den Forschenden zufolge nahe, dass eine solche Übertrainierung je nach Nachfrage nach Inferenzleistung für Entwickler wirtschaftlich sein könnte. Bei fünffacher Übertrainierung wäre der Datenbestand ihrer Projektion nach 2027 erschöpft, bei hundertfacher bereits 2025. Als Vergleich nennen sie Llama 3-70B, das zehnfach übertrainiert worden sei.
Die neue Einschätzung verschiebt eine frühere Prognose: Eine Analyse von 2022 hatte die vollständige Nutzung hochwertiger Textdaten für 2024 vorhergesagt. Der Bericht führt die Abweichung auf veränderte Annahmen und neuere Forschung zurück. Sorgfältig gefilterte Webdaten könnten leistungsfähiger sein als zuvor angenommen und sind in größerer Menge verfügbar; dadurch stieg die Schätzung des hochwertigen Bestands um den Faktor fünf. Zudem könnten Modelle Trainingsdaten mehrfach nutzen, ohne dass ihre Leistung stark nachlasse. Das erhöhe den effektiven Bestand laut Bericht zusätzlich um den Faktor zwei bis fünf.
Die Ergebnisse sind Schätzungen und Szenarien, keine Gewissheit über den tatsächlichen Zeitpunkt eines Datenengpasses. Die Prognosen hängen von Datenqualität, Wiederverwendung, Rechenwachstum und der gewählten Trainingsstrategie ab. Der Bericht beschreibt außerdem ein vereinfachtes Wirtschaftsmodell; die Textfassung der Abbildungen enthält keine auswertbaren Grafikdaten. Die abschließende Beschreibung einer nachgereichten vierten Abbildung bricht im bereitgestellten Text ab.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Stufen wurden unabhängig von Lunas Stufen und Anteilswerten vergeben. Lunas Liste der Teilfragen war leer, daher gibt es dazu keine Einträge. Die Zusammenfassungen sind inhaltlich weitgehend treu, die Zeitspanne 2025 bis 2032 ist jedoch verkürzt dargestellt.
Im Bericht, aber nicht in der Zusammenfassung
- Die frühere Prognose von 2024 gegenüber der neuen Schätzung 2028 fehlt in der kurzen Fassung. Die mittlere Fassung nennt sie.
- Das 90-Prozent-Konfidenzintervall von 100 bis 1.000 Billionen Tokens fehlt in der kurzen Fassung.
- Der Verweis auf 5 × 10²⁸ FLOP als Grenze bei recheneffizientem Training fehlt in der kurzen Fassung.
- Der gewinnoptimale Übertrainingsfaktor von bis zu etwa 100x und der Vergleichswert Llama 3-70B mit 10x fehlen in beiden Fassungen.
- Die Gründe für die Revision (rund 10 Billionen Tokens 2022, Faktor 5 durch gefilterte Webdaten, Faktor 2 bis 5 durch Mehrfach-Epochen) werden in beiden Fassungen nur allgemein umschrieben.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Spanne 2025 bis 2032 wird als Ergebnis je nach Trainingsstrategie dargestellt. Der Bericht nennt 2026 bis 2032 als 80-Prozent-Intervall für die Gesamtprognose und 2025 bis 2030 als Spanne je nach Übertraining (Abbildung 3).
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 30 %Hintergrund, keine Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 40 %gleiches Oberthema, hilft nicht
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 29 %Hintergrund, keine Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 29 %Hintergrund, keine Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 82 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 39 %Hintergrund, keine Belege
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv