Will we run out of ML data? Projecting dataset size trends
Zusammenfassung
Kurz
Epoch AI projiziert, dass bei anhaltenden Trends hochwertige Sprachdaten bereits um 2024, niedrigwertige Sprachdaten etwa zwischen 2032 und 2041 und Bilddaten etwa zwischen 2039 und 2046 knapp werden könnten. Die Forschenden schätzen eine Wahrscheinlichkeit von rund 20 Prozent, dass Datenmangel das Wachstum von ML-Modellen bis 2040 deutlich verlangsamt. Die Projektionen sind wegen starker Annahmen, breiter Unsicherheit und möglicher Fortschritte bei Dateneffizienz und synthetischen Daten mit Vorsicht zu lesen.
Mittel
Der Bericht vergleicht den geschätzten Bestand an englischen Sprach- und Bilddaten mit dem prognostizierten Wachstum von Trainingsdatensätzen. Dafür schreibt Epoch AI historische Wachstumstrends fort und berechnet zusätzlich, welche Datensatzgrößen bei erwarteter Rechenleistung und nach den Chinchilla-Skalierungsgesetzen optimal wären. Probabilistische Modelle schätzen die Datenbestände; bei Sprache wird zwischen niedriger und hoher Qualität unterschieden.
Wenn die Trends anhalten, könnten hochwertige Sprachdaten laut Medianprojektionen bereits um 2024 erschöpft sein, niedrigwertige Sprachdaten etwa 2032 bis 2041 und Bilddaten etwa 2039 bis 2046. Die Unsicherheitsintervalle sind teils breit. Epoch AI sieht darin einen möglichen künftigen Wechsel von Rechenleistung zu Daten als begrenzendem Faktor und schätzt eine Wahrscheinlichkeit von rund 20 Prozent, dass Datenknappheit das Wachstum von ML-Modellen bis 2040 deutlich verlangsamt. Diese Einschätzung beruht auf einer internen Befragung.
Die Ergebnisse hängen stark von Annahmen ab: Die Modelle unterstellen anhaltende Trends und berücksichtigen Verbesserungen der Dateneffizienz, synthetische Daten sowie algorithmische und wirtschaftliche Faktoren nur unzureichend. Die Bilddatenschätzungen seien besonders unsicher und eher als Untergrenzen zu verstehen. Die Jahre sind daher bedingte Projektionen, keine sicheren Vorhersagen.
Ausführlich lesen
Der Bericht untersucht, ob das verfügbare Material zum Training von maschinellen Lernmodellen knapp werden könnte. Epoch AI vergleicht dafür geschätzte Bestände englischer Sprachdaten und Bilddaten mit Projektionen, wie groß Trainingsdatensätze künftig werden könnten. Anlass ist die These, dass Trainingsdaten das weitere Wachstum großer Sprachmodelle begrenzen könnten.
Die Forschenden berechnen zwei Arten von Projektionen für die Datensatzgrößen: Eine schreibt historische Wachstumstrends fort; die andere schätzt anhand prognostizierter Rechenkapazität und der Chinchilla-Skalierungsgesetze, welche Datensatzgrößen künftig rechnerisch optimal wären. Den gesamten Bestand an Sprach- und Bilddaten schätzen sie mit probabilistischen Modellen. Für Sprache unterscheiden sie außerdem zwischen Daten niedriger und hoher Qualität; letztere seien typisch für das Training großer Sprachmodelle.
Unter der Annahme, dass die beobachteten Trends anhalten, sagen die Modelle eine Erschöpfung der Bestände voraus. Bei Sprachdaten niedriger Qualität liegt das Medianjahr je nach Projektionsmethode bei 2032 beziehungsweise 2041; die angegebenen 90-Prozent-Intervalle reichen insgesamt von 2028 bis 2049. Für hochwertige Sprachdaten liegt der Median bei beiden Methoden um 2024, mit Intervallen von 2023 bis 2026. Bei Bilddaten ergeben sich Medianwerte um 2046 für die historische Fortschreibung und 2039 für die rechenbasierte Projektion; die Intervalle reichen von 2032 bis 2063. Der Bericht fasst die groben Zeithorizonte als Erschöpfung hochwertiger Sprachdaten vor 2026, niedrigwertiger Sprachdaten zwischen 2030 und 2050 und visueller Daten zwischen 2030 und 2060 zusammen.
Die Autorinnen und Autoren deuten diese Daten als möglichen Wechsel: Statt verfügbarer Rechenleistung könnte irgendwann die Datenmenge das Wachstum von ML-Modellen begrenzen. Sie schätzen, dass eine Datenknappheit bis 2040 mit rund 20 Prozent Wahrscheinlichkeit das Wachstum, gemessen am Trainingsaufwand, deutlich verlangsamen könnte. Diese Zahl beruht auf einer Befragung von Epoch-AI-Teammitgliedern, deren Einschätzungen geometrisch gemittelt wurden; sie ist daher keine direkte Messung.
Der Bericht betont erhebliche Unsicherheit und Grenzen. Die Projektionen setzen unrealistischerweise voraus, dass sich Trends bei Nutzung und Erzeugung von Daten fortsetzen und keine großen Fortschritte bei der Dateneffizienz eintreten. Auch synthetische Daten sowie algorithmische und wirtschaftliche Faktoren sind nicht angemessen berücksichtigt. Für Bilddaten seien die Modelle weniger sorgfältig ausgearbeitet; deren Schätzungen sollten eher als Untergrenzen denn als genaue Bestandswerte gelesen werden. Die Forschenden verweisen zudem auf frühe Fortschritte bei effizienterer Datennutzung und halten weitere Verbesserungen, besonders bei unlabeled Daten sowie bei der Auswahl hochwertiger Daten aus weniger hochwertigen Quellen, für möglich. Die genannten Erschöpfungsjahre sind somit bedingte Modellprojektionen, keine sicheren Vorhersagen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassungen decken die Kernzahlen und Vorbehalte des Berichts korrekt ab; bemängelt werden nur zwei fehlende Aussagen. Die Einordnung bewertet ausschließlich die drei angegebenen Sammelfragen, da keine Teilfragen angegeben sind.
Im Bericht, aber nicht in der Zusammenfassung
- Datensätze wachsen deutlich schneller als die Datenbestände, weshalb die Erschöpfung bei anhaltenden Trends als unvermeidbar gilt
- Die Projektion allein auf Basis historischer Trends wird als irreführend bezeichnet, deshalb werden zusätzlich Rechenleistungsprojektionen herangezogen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 30 %Hintergrund, keine Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 28 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 32 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 47 %Hintergrund, keine Belege
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv