The size of datasets used to train language models doubles approximately every six months
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Epoch AI zufolge verdoppelt sich die Größe von Sprachmodell-Trainingsdatensätzen ungefähr alle sechs Monate; die größten Modelle nutzten demnach Datensätze mit mehreren zehn Billionen Wörtern. Der Auszug ergänzt eine umfangreiche Modelltabelle, erklärt aber weder ihre Auswahl und Messmethodik noch die uneinheitlichen Größenangaben in Datenpunkten, Wörtern und Tokens.
Mittel
Der vorliegende Berichtsauszug von Epoch AI behauptet, dass sich die Größe von Trainingsdatensätzen für Sprachmodelle ungefähr alle sechs Monate verdoppelt, entsprechend einem Wachstum um das 3,7-Fache pro Jahr. Die größten Modelle nutzten demnach Datensätze mit mehreren zehn Billionen Wörtern. Öffentlich verfügbare Sammlungen seien laut Epoch etwa zehnmal größer; Common Crawl umfasse vor der Filterung Hunderte Billionen Wörter.
Eine mit 199 Modellen bezeichnete Tabelle führt Trainingsaufwand, Datensatzgröße, Anwendungsbereich, Organisation und Veröffentlichungsdatum auf. Sie reicht von frühen Modellen ab 2010 bis zu Einträgen aus 2025 und zeigt insgesamt stark steigende Datensatzwerte. Beispielsweise nennt sie 3,7 × 10^11 Datenpunkte für GPT-3, 4,9 × 10^12 für GPT-4 und 1,5 × 10^14 für gpt-oss-120b.
Der Auszug erläutert weder die Auswahl und Prüfung der Modelle noch die Berechnung der Wachstumsrate. Die Tabelle ist doppelt enthalten; zudem bleibt offen, wie die als „datapoints“ bezeichneten Tabellenwerte mit den im Text genannten Wörtern und der Bildbeschriftung „tokens“ zusammenhängen. Eine unabhängige Bestätigung bietet der Auszug nicht.
Ausführlich lesen
Der bereitgestellte Bericht ist ein Auszug aus Epoch AI: Er enthält eine kurze Aussage zum Wachstum von Trainingsdatensätzen und eine umfangreiche Tabelle zu Sprach- und multimodalen Modellen. Epoch zufolge wachsen Datensätze für Sprachmodelle im Durchschnitt so schnell, dass sich ihre Größe ungefähr alle sechs Monate verdoppelt; als jährliche Rate nennt der Text das 3,7-Fache. Die größten Modelle verwendeten demnach Datensätze mit mehreren zehn Billionen Wörtern. Epoch behauptet außerdem, dass die größten öffentlich verfügbaren Datensammlungen etwa zehnmal umfangreicher seien. Als Beispiel wird Common Crawl genannt, das vor einer Filterung Hunderte Billionen Wörter enthalte.
Die Übersicht ist mit „199 models“ bezeichnet. Die Tabelle führt pro Modell unter anderem Veröffentlichungsdatum, Anwendungsbereich, Organisation, geschätzten Trainingsaufwand in FLOP und Datensatzgröße auf. Die Einträge reichen von frühen Sprachmodellen aus den Jahren 2010/2011 bis zu Modellen, die in der Tabelle auf 2025 datiert sind. Die aufgeführten Größen steigen im Verlauf insgesamt stark an: frühe Beispiele liegen teils bei Tausenden oder Millionen Datenpunkten, während spätere Modelle häufig Billionen oder Zehn Billionen ausweisen. Als Beispiele nennt die Tabelle GPT-3 mit 3,7 × 10^11 Datenpunkten, GPT-4 mit 4,9 × 10^12 und Llama 3-70B mit 1,5 × 10^13. Für gpt-oss-120b werden 1,5 × 10^14 angegeben. Diese Werte sind Tabelleneinträge und belegen für sich allein keine allgemeine Wachstumsrate.
Zum Vorgehen liefert der vorliegende Text keine ausführliche Beschreibung. Er verweist auf eine Darstellung zu Trainingsdatensätzen von 199 Modellen und enthält eine Datentabelle mit Modellangaben; Auswahlkriterien, Quellenprüfung und Berechnung der durchschnittlichen Wachstumsrate werden im Auszug nicht erläutert. Die Tabelle erscheint im bereitgestellten Quelltext zweimal, weitgehend mit denselben Einträgen. Zudem stehen in der Seitenbeschreibung „Training dataset size (tokens)“, während die Tabelle die Spalte als „datapoints“ bezeichnet. Der Text wechselt außerdem zwischen Größen in Wörtern und Tabellenwerten, ohne im Auszug zu erklären, wie diese Größen zusammenhängen. Daher lässt sich aus dem vorliegenden Material weder die genaue Messmethode noch die Vergleichbarkeit aller Werte beurteilen. Die genannten Aussagen sind als Angaben beziehungsweise Behauptungen von Epoch zu verstehen; der Auszug enthält keine unabhängige Überprüfung.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 23 %Hintergrund, keine Belege
- Luna 44 %Hintergrund, keine Belege
- JEV 42 %gleiches Oberthema, hilft nicht
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 45 %gleiches Oberthema, hilft nicht
- SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 43 %Hintergrund, keine Belege
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 49 %einzelne zitierbare Belege
- JEV 30 %einzelne zitierbare Belege
- amos 26 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 57 %gleiches Oberthema, hilft nicht
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 64 %Hintergrund, keine Belege
- JEV 31 %Hintergrund, keine Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv