Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch19. Juni 2024 · Q006066

The size of datasets used to train language models doubles approximately every six months

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Epoch AI zufolge verdoppelt sich die Größe von Sprachmodell-Trainingsdatensätzen ungefähr alle sechs Monate; die größten Modelle nutzten demnach Datensätze mit mehreren zehn Billionen Wörtern. Der Auszug ergänzt eine umfangreiche Modelltabelle, erklärt aber weder ihre Auswahl und Messmethodik noch die uneinheitlichen Größenangaben in Datenpunkten, Wörtern und Tokens.

Mittel

Der vorliegende Berichtsauszug von Epoch AI behauptet, dass sich die Größe von Trainingsdatensätzen für Sprachmodelle ungefähr alle sechs Monate verdoppelt, entsprechend einem Wachstum um das 3,7-Fache pro Jahr. Die größten Modelle nutzten demnach Datensätze mit mehreren zehn Billionen Wörtern. Öffentlich verfügbare Sammlungen seien laut Epoch etwa zehnmal größer; Common Crawl umfasse vor der Filterung Hunderte Billionen Wörter.

Eine mit 199 Modellen bezeichnete Tabelle führt Trainingsaufwand, Datensatzgröße, Anwendungsbereich, Organisation und Veröffentlichungsdatum auf. Sie reicht von frühen Modellen ab 2010 bis zu Einträgen aus 2025 und zeigt insgesamt stark steigende Datensatzwerte. Beispielsweise nennt sie 3,7 × 10^11 Datenpunkte für GPT-3, 4,9 × 10^12 für GPT-4 und 1,5 × 10^14 für gpt-oss-120b.

Der Auszug erläutert weder die Auswahl und Prüfung der Modelle noch die Berechnung der Wachstumsrate. Die Tabelle ist doppelt enthalten; zudem bleibt offen, wie die als „datapoints“ bezeichneten Tabellenwerte mit den im Text genannten Wörtern und der Bildbeschriftung „tokens“ zusammenhängen. Eine unabhängige Bestätigung bietet der Auszug nicht.

Ausführlich lesen

Der bereitgestellte Bericht ist ein Auszug aus Epoch AI: Er enthält eine kurze Aussage zum Wachstum von Trainingsdatensätzen und eine umfangreiche Tabelle zu Sprach- und multimodalen Modellen. Epoch zufolge wachsen Datensätze für Sprachmodelle im Durchschnitt so schnell, dass sich ihre Größe ungefähr alle sechs Monate verdoppelt; als jährliche Rate nennt der Text das 3,7-Fache. Die größten Modelle verwendeten demnach Datensätze mit mehreren zehn Billionen Wörtern. Epoch behauptet außerdem, dass die größten öffentlich verfügbaren Datensammlungen etwa zehnmal umfangreicher seien. Als Beispiel wird Common Crawl genannt, das vor einer Filterung Hunderte Billionen Wörter enthalte.

Die Übersicht ist mit „199 models“ bezeichnet. Die Tabelle führt pro Modell unter anderem Veröffentlichungsdatum, Anwendungsbereich, Organisation, geschätzten Trainingsaufwand in FLOP und Datensatzgröße auf. Die Einträge reichen von frühen Sprachmodellen aus den Jahren 2010/2011 bis zu Modellen, die in der Tabelle auf 2025 datiert sind. Die aufgeführten Größen steigen im Verlauf insgesamt stark an: frühe Beispiele liegen teils bei Tausenden oder Millionen Datenpunkten, während spätere Modelle häufig Billionen oder Zehn Billionen ausweisen. Als Beispiele nennt die Tabelle GPT-3 mit 3,7 × 10^11 Datenpunkten, GPT-4 mit 4,9 × 10^12 und Llama 3-70B mit 1,5 × 10^13. Für gpt-oss-120b werden 1,5 × 10^14 angegeben. Diese Werte sind Tabelleneinträge und belegen für sich allein keine allgemeine Wachstumsrate.

Zum Vorgehen liefert der vorliegende Text keine ausführliche Beschreibung. Er verweist auf eine Darstellung zu Trainingsdatensätzen von 199 Modellen und enthält eine Datentabelle mit Modellangaben; Auswahlkriterien, Quellenprüfung und Berechnung der durchschnittlichen Wachstumsrate werden im Auszug nicht erläutert. Die Tabelle erscheint im bereitgestellten Quelltext zweimal, weitgehend mit denselben Einträgen. Zudem stehen in der Seitenbeschreibung „Training dataset size (tokens)“, während die Tabelle die Spalte als „datapoints“ bezeichnet. Der Text wechselt außerdem zwischen Größen in Wörtern und Tabellenwerten, ohne im Auszug zu erklären, wie diese Größen zusammenhängen. Daher lässt sich aus dem vorliegenden Material weder die genaue Messmethode noch die Vergleichbarkeit aller Werte beurteilen. Die genannten Aussagen sind als Angaben beziehungsweise Behauptungen von Epoch zu verstehen; der Auszug enthält keine unabhängige Überprüfung.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 23 %Hintergrund, keine Belege
    • Luna 44 %Hintergrund, keine Belege
    • JEV 42 %gleiches Oberthema, hilft nicht
    • amos 25 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 45 %gleiches Oberthema, hilft nicht

Tempo und Grenzen
  1. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 35 %gleiches Oberthema, hilft nicht
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 66 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 43 %Hintergrund, keine Belege
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 66 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 62 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 49 %einzelne zitierbare Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
Frieden und Sicherheit
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 64 %Hintergrund, keine Belege
    • JEV 31 %Hintergrund, keine Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →