Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch10. November 2022 · Q005726

Will we run out of ML data? Projecting dataset size trends

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI projiziert, dass bei anhaltenden Trends hochwertige Sprachdaten bereits um 2024, niedrigwertige Sprachdaten etwa zwischen 2032 und 2041 und Bilddaten etwa zwischen 2039 und 2046 knapp werden könnten. Die Forschenden schätzen eine Wahrscheinlichkeit von rund 20 Prozent, dass Datenmangel das Wachstum von ML-Modellen bis 2040 deutlich verlangsamt. Die Projektionen sind wegen starker Annahmen, breiter Unsicherheit und möglicher Fortschritte bei Dateneffizienz und synthetischen Daten mit Vorsicht zu lesen.

Mittel

Der Bericht vergleicht den geschätzten Bestand an englischen Sprach- und Bilddaten mit dem prognostizierten Wachstum von Trainingsdatensätzen. Dafür schreibt Epoch AI historische Wachstumstrends fort und berechnet zusätzlich, welche Datensatzgrößen bei erwarteter Rechenleistung und nach den Chinchilla-Skalierungsgesetzen optimal wären. Probabilistische Modelle schätzen die Datenbestände; bei Sprache wird zwischen niedriger und hoher Qualität unterschieden.

Wenn die Trends anhalten, könnten hochwertige Sprachdaten laut Medianprojektionen bereits um 2024 erschöpft sein, niedrigwertige Sprachdaten etwa 2032 bis 2041 und Bilddaten etwa 2039 bis 2046. Die Unsicherheitsintervalle sind teils breit. Epoch AI sieht darin einen möglichen künftigen Wechsel von Rechenleistung zu Daten als begrenzendem Faktor und schätzt eine Wahrscheinlichkeit von rund 20 Prozent, dass Datenknappheit das Wachstum von ML-Modellen bis 2040 deutlich verlangsamt. Diese Einschätzung beruht auf einer internen Befragung.

Die Ergebnisse hängen stark von Annahmen ab: Die Modelle unterstellen anhaltende Trends und berücksichtigen Verbesserungen der Dateneffizienz, synthetische Daten sowie algorithmische und wirtschaftliche Faktoren nur unzureichend. Die Bilddatenschätzungen seien besonders unsicher und eher als Untergrenzen zu verstehen. Die Jahre sind daher bedingte Projektionen, keine sicheren Vorhersagen.

Ausführlich lesen

Der Bericht untersucht, ob das verfügbare Material zum Training von maschinellen Lernmodellen knapp werden könnte. Epoch AI vergleicht dafür geschätzte Bestände englischer Sprachdaten und Bilddaten mit Projektionen, wie groß Trainingsdatensätze künftig werden könnten. Anlass ist die These, dass Trainingsdaten das weitere Wachstum großer Sprachmodelle begrenzen könnten.

Die Forschenden berechnen zwei Arten von Projektionen für die Datensatzgrößen: Eine schreibt historische Wachstumstrends fort; die andere schätzt anhand prognostizierter Rechenkapazität und der Chinchilla-Skalierungsgesetze, welche Datensatzgrößen künftig rechnerisch optimal wären. Den gesamten Bestand an Sprach- und Bilddaten schätzen sie mit probabilistischen Modellen. Für Sprache unterscheiden sie außerdem zwischen Daten niedriger und hoher Qualität; letztere seien typisch für das Training großer Sprachmodelle.

Unter der Annahme, dass die beobachteten Trends anhalten, sagen die Modelle eine Erschöpfung der Bestände voraus. Bei Sprachdaten niedriger Qualität liegt das Medianjahr je nach Projektionsmethode bei 2032 beziehungsweise 2041; die angegebenen 90-Prozent-Intervalle reichen insgesamt von 2028 bis 2049. Für hochwertige Sprachdaten liegt der Median bei beiden Methoden um 2024, mit Intervallen von 2023 bis 2026. Bei Bilddaten ergeben sich Medianwerte um 2046 für die historische Fortschreibung und 2039 für die rechenbasierte Projektion; die Intervalle reichen von 2032 bis 2063. Der Bericht fasst die groben Zeithorizonte als Erschöpfung hochwertiger Sprachdaten vor 2026, niedrigwertiger Sprachdaten zwischen 2030 und 2050 und visueller Daten zwischen 2030 und 2060 zusammen.

Die Autorinnen und Autoren deuten diese Daten als möglichen Wechsel: Statt verfügbarer Rechenleistung könnte irgendwann die Datenmenge das Wachstum von ML-Modellen begrenzen. Sie schätzen, dass eine Datenknappheit bis 2040 mit rund 20 Prozent Wahrscheinlichkeit das Wachstum, gemessen am Trainingsaufwand, deutlich verlangsamen könnte. Diese Zahl beruht auf einer Befragung von Epoch-AI-Teammitgliedern, deren Einschätzungen geometrisch gemittelt wurden; sie ist daher keine direkte Messung.

Der Bericht betont erhebliche Unsicherheit und Grenzen. Die Projektionen setzen unrealistischerweise voraus, dass sich Trends bei Nutzung und Erzeugung von Daten fortsetzen und keine großen Fortschritte bei der Dateneffizienz eintreten. Auch synthetische Daten sowie algorithmische und wirtschaftliche Faktoren sind nicht angemessen berücksichtigt. Für Bilddaten seien die Modelle weniger sorgfältig ausgearbeitet; deren Schätzungen sollten eher als Untergrenzen denn als genaue Bestandswerte gelesen werden. Die Forschenden verweisen zudem auf frühe Fortschritte bei effizienterer Datennutzung und halten weitere Verbesserungen, besonders bei unlabeled Daten sowie bei der Auswahl hochwertiger Daten aus weniger hochwertigen Quellen, für möglich. Die genannten Erschöpfungsjahre sind somit bedingte Modellprojektionen, keine sicheren Vorhersagen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassungen decken die Kernzahlen und Vorbehalte des Berichts korrekt ab; bemängelt werden nur zwei fehlende Aussagen. Die Einordnung bewertet ausschließlich die drei angegebenen Sammelfragen, da keine Teilfragen angegeben sind.

Im Bericht, aber nicht in der Zusammenfassung

  • Datensätze wachsen deutlich schneller als die Datenbestände, weshalb die Erschöpfung bei anhaltenden Trends als unvermeidbar gilt
  • Die Projektion allein auf Basis historischer Trends wird als irreführend bezeichnet, deshalb werden zusätzlich Rechenleistungsprojektionen herangezogen

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Unabhängig prüfen
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 30 %Hintergrund, keine Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 32 %gleiches Oberthema, hilft nicht
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
Frieden und Sicherheit
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 47 %Hintergrund, keine Belege
    • amos 54 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →