Trends in training dataset sizes
Zusammenfassung
Kurz
Der Bericht beschreibt anhand einer Datenbank mit über 200 Modellen, dass Trainingsdatensätze im Lauf der Zeit größer wurden; besonders deutlich ist dies für Sprache und Bildverarbeitung, mit einem erkennbaren Übergang zu sehr großen Datensätzen ab etwa 2014 bis 2016. Die Aussagen bleiben durch kleine Stichproben, teils nötige Näherungsumrechnungen und bereichsspezifische Maße begrenzt, die Größen nicht direkt vergleichbar machen.
Mittel
Der Bericht zeichnet anhand einer Datenbank mit mehr als 200 Modellen die Entwicklung von Trainingsdatensatzgrößen in sechs Bereichen nach. Größe bedeutet dabei die Zahl eindeutiger Datenpunkte, etwa Bilder, Wörter oder Spielzeitschritte. Weil die Einheiten je Bereich verschieden sind und Angaben teils umgerechnet werden mussten, sind Größen zwischen den Bereichen nicht direkt vergleichbar.
Für Sprache schätzt der Bericht seit 1990 ein Wachstum von etwa 0,23 Größenordnungen pro Jahr. Die Daten legen eine Beschleunigung ab 2014 nahe, doch die Stichprobe ist dafür zu klein, um sicher zu sein. Nach 2016 hatten fast alle erfassten wichtigen Sprachmodelle Datensätze mit mehr als 100 Millionen Wörtern. In der Bildverarbeitung dominierten bis 2016 häufig MNIST und ImageNet; später kamen deutlich größere Datensätze wie JFT-3B mit drei Milliarden Bildern hinzu. Für Spiele, Sprache und weitere Felder zeigt sich ebenfalls ein Übergang zu größeren Datenmengen ab etwa 2014 bis 2016. Die Autoren halten belastbare Schlüsse vor allem für Sprache und Bildverarbeitung für möglich. In den übrigen Bereichen sind die Stichproben klein; auch Umrechnungen und mögliche Stichprobeneffekte begrenzen die Aussagen.
Ausführlich lesen
Der Bericht untersucht, wie sich die Größe von Trainingsdatensätzen für maschinelle Lernmodelle im Lauf der Zeit verändert hat. Dafür stellt Autor Pablo Villalobos eine Datenbank mit mehr als 200 Modellen aus sechs Bereichen zusammen: Sprache, Bildverarbeitung, Spracheingabe und -ausgabe, Spiele, Empfehlungssysteme und Text-zu-Bild-Erzeugung. Berücksichtigt wurden Modelle, deren Arbeiten häufig zitiert wurden, die den damaligen Spitzenstand verbesserten, historisch bedeutsam waren oder in wichtigen Zusammenhängen eingesetzt wurden.
Die Datensatzgröße wird als Zahl eindeutiger Datenpunkte definiert, die ein Modell während des Trainings gesehen hat. Als Einheiten dienen je nach Bereich etwa Bilder, Wörter oder Spielzeitschritte. Der Bericht erläutert, dass andere Maße ebenfalls Nachteile haben: Byte-Größen hängen etwa von Redundanz oder Kompression ab, während die bloße Zahl der Datenpunkte unterschiedlich große Einheiten gleich behandelt. Die gewählte Definition erlaubt deshalb keinen direkten Größenvergleich zwischen den Bereichen. Zudem mussten Angaben aus den untersuchten Arbeiten teilweise näherungsweise in die jeweiligen Einheiten umgerechnet werden.
Für Sprache schätzt der Bericht das Wachstum seit 1990 auf rund 0,23 Größenordnungen pro Jahr und insgesamt sieben Größenordnungen bis 2022. Die Datenauswahl deutet auf eine Beschleunigung ab 2014 hin; wegen der begrenzten Stichprobe wird dieser Eindruck jedoch als unsicher bezeichnet. Der größte erfasste Sprachdatensatz umfasst laut Bericht 1,87 Billionen Wörter. Während es bis 2014 noch bemerkenswerte Modelle gab, die mit weniger als 200.000 Wörtern trainiert wurden, lagen die Datensatzgrößen fast aller erfassten wichtigen Modelle nach 2016 über 100 Millionen Wörtern. Der Bericht vermutet, dass effizientere Architekturen wie Transformer größere Trainingsmengen ermöglicht haben könnten.
In der Bildverarbeitung prägten laut Bericht MNIST und ImageNet von 1998 bis 2016 die Entwicklung; etwa ein Drittel der Modelle aus diesem Zeitraum nutzte diese Datensätze. Die geschätzte Wachstumsrate liegt je nach Abschnitt des Berichts bei rund 0,09 bis 0,11 Größenordnungen pro Jahr. ImageNet mit etwa einer Million Bildern war zunächst der größte genannte Datensatz. Ab ungefähr 2016 traten einzelne wesentlich größere Datensätze auf, darunter JFT-3B mit drei Milliarden Bildern. Ob dies die künftige Wachstumsrate verändert, sei noch nicht absehbar. Eine Lücke zwischen einer und hundert Millionen Bildern deutet der Bericht als mögliches Artefakt der kleinen Stichprobe.
Für Spiele, Sprache und weitere Bereiche zeigt die Datenauswahl ebenfalls größere Datenmengen bei Modellen nach etwa 2014 bis 2016. Die Autoren betonen jedoch, dass die Zahl der beobachteten Modelle außerhalb von Sprache und Bildverarbeitung zu gering ist, um belastbare Entwicklungsschlüsse zu ziehen. Bei Empfehlungssystemen konzentrieren sich viele erfasste Modelle auf einen Datensatz und Zeitraum, weil sie aus dem Netflix-Preiswettbewerb stammen. Insgesamt beobachtet der Bericht wachsende Datensatzgrößen, sieht aber aussagekräftige Schlussfolgerungen vor allem für Sprache und Bildverarbeitung. Die Trends könnten zusammen mit Entwicklungen bei Rechenleistung und Modellgröße helfen, den bisherigen Fortschritt im maschinellen Lernen einzuordnen; weitergehende Vorhersagen belegt der Bericht nicht.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassung wurde am mittleren Text geprüft; die kurze Fassung ist ebenfalls im Kern treu. Die Anteilsangaben in Prozent (87 %, 79 %, 72 %) sind im Bericht nicht begründet und passen nicht zu den niedrigen Bezügen; die Stufe 3 für alle drei Fragen ist überhöht.
Im Bericht, aber nicht in der Zusammenfassung
- Wachstumsrate für Vision von etwa 0,11 Größenordnungen pro Jahr
- Konzentration der Empfehlungsmodelle auf den Netflix Prize und dünne Datenlage bei Empfehlung, Zeichnen, Spielen und Sprache
- Aussage, dass alle Bereiche mit der Zeit größere Datensätze zeigen, die Stichprobe aber nur für Bildverarbeitung und Sprache Schlüsse erlaubt
- Größter beobachteter Sprachdatensatz FLAN mit 1,87e12 Wörtern
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %Hintergrund, keine Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 72 %Hintergrund, keine Belege
- JEV 40 %gleiches Oberthema, hilft nicht
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 43 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 59 %Hintergrund, keine Belege
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 79 %Hintergrund, keine Belege
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 41 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 35 %gleiches Oberthema, hilft nicht
- JEV 41 %Hintergrund, keine Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 55 %Hintergrund, keine Belege
- JEV 27 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 51 %gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 87 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv