An empirical analysis of compute-optimal large language model training
Zusammenfassung
Kurz
Die Autoren schätzen anhand von Trainingsversuchen, dass große Sprachmodelle ihrer Zeit für ihr Rechenbudget zu groß und mit zu wenigen Tokens trainiert waren. Chinchilla (70 Milliarden Parameter, 1,3 Billionen Tokens) habe bei gleichem Trainingsaufwand Gopher auf nahezu allen verglichenen Aufgaben übertroffen; der Bericht nennt jedoch keine Einzelwerte und weist beim PaLM-Vergleich auf einen anderen Trainingskorpus hin.
Mittel
Der Bericht fragt, wie sich ein festes Trainings-Rechenbudget optimal zwischen Modellgröße und Zahl der Trainings-Tokens aufteilen lässt. Die Autoren untersuchten dies empirisch mit Modellen verschiedener Größen und Datenmengen. Sie folgern, dass damalige große Sprachmodelle zu viele Parameter und zu wenige Trainingsdaten hatten: Beim Rechenaufwand von Gopher (280 Milliarden Parameter) wäre demnach ein Modell mit einem Viertel der Parameter und viermal so vielen Tokens günstiger gewesen.
Als Beispiel nennen sie Chinchilla mit 70 Milliarden Parametern und 1,3 Billionen Tokens. Bei gleichem Trainings-Rechenaufwand wie Gopher habe es dieses und weitere Modelle auf nahezu allen verglichenen Aufgaben übertroffen. Der Bericht nennt mehrere Benchmarks, aber keine einzelnen Messwerte. PaLM nutzte ungefähr das Fünffache von Chinchillas Rechenbudget und übertraf es laut Text bei einer Reihe von Aufgaben; sein Trainingskorpus war jedoch ein anderer. Für PaLMs Budget schätzen die Autoren 140 Milliarden Parameter und drei Billionen Tokens als optimale Aufteilung. Kleinere leistungsfähige Modelle können zudem Speicher- und Inferenzkosten senken.
Ausführlich lesen
Der Bericht untersucht, wie ein festes Rechenbudget für das Training großer Sprachmodelle am besten zwischen Modellgröße und Zahl der Trainings-Tokens aufgeteilt werden sollte. Die Autoren argumentieren, dass frühere Modelle vor allem durch mehr Parameter skaliert wurden, während die Trainingsdatenmenge häufig bei ungefähr 300 Milliarden Tokens blieb. Da beide Faktoren den Rechenaufwand von Transformer-Modellen bestimmen, trainierten sie Modelle unterschiedlicher Größe mit unterschiedlich vielen Tokens und schätzten daraus empirisch eine recheneffiziente Aufteilung.
Als zentrale Schlussfolgerung geben die Autoren an, dass damalige große Sprachmodelle im Verhältnis zu ihrem Trainingsbudget zu viele Parameter und zu wenige Trainingsdaten hatten. Für den Rechenaufwand von Gopher, einem Modell mit 280 Milliarden Parametern, wäre nach ihrer Schätzung ein Modell mit einem Viertel der Parameter und viermal so vielen Trainings-Tokens vorzuziehen gewesen.
Zur Überprüfung trainierten sie Chinchilla mit 70 Milliarden Parametern auf 1,3 Billionen Tokens. Laut Bericht hatte Chinchilla dabei denselben Trainings-Rechenaufwand wie Gopher und übertraf Gopher sowie weitere verglichene Modelle auf nahezu allen aufgeführten Aufgaben. Die Abbildungen vergleichen die Modelle unter anderem bei MMLU, TriviaQA, LAMBADA, HellaSwag, PIQA, WinoGrande und BoolQ. Der Text nennt jedoch keine einzelnen Messwerte; die berichtete Überlegenheit ist daher hier nur in der beschriebenen Form zusammenzufassen.
Der Bericht ordnet auch PaLM ein, das nach Chinchilla mit 540 Milliarden Parametern und 768 Milliarden Tokens veröffentlicht wurde. PaLM nutzte laut Text ungefähr das Fünffache des Chinchilla-Rechenbudgets und übertraf Chinchilla bei einer Reihe von Aufgaben. Die Autoren betonen, dass PaLM auf einem anderen Korpus trainiert wurde. Ihre Methode sage dennoch voraus, dass PaLM mit diesen Daten Chinchilla übertreffen könne, obwohl es nicht recheneffizient trainiert worden sei. Für PaLMs Rechenbudget schätzen sie ein Modell mit 140 Milliarden Parametern und drei Billionen Tokens als optimal und für die Inferenz effizienter ein.
Als praktischen Vorteil kleinerer, leistungsfähigerer Modelle nennt der Bericht geringere Speicher- und Laufzeitkosten beim Einsatz. Die Aussagen beruhen auf den im Beitrag beschriebenen empirischen Vergleichen und Schätzungen. Der Text führt weder die vollständigen Versuchsdaten noch detaillierte Zahlen für alle Benchmarks auf und weist beim Vergleich mit PaLM ausdrücklich auf den unterschiedlichen Trainingskorpus hin.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassung ist im Kern treu, lässt aber Angaben zu PaLM, Megatron-Turing und den fest gehaltenen 300 Milliarden Trainingstokens aus. Ihre Einordnung der Sammelfragen liegt bei SF-V5 und SF-P4 zu hoch, weil der Bericht dazu nur am Rande oder gar nichts Belegbares beiträgt.
Im Bericht, aber nicht in der Zusammenfassung
- Die aktuelle Modellgeneration hält die Trainingsdatenmenge laut Bericht bei rund 300 Milliarden Tokens fest, während die Parameterzahl steigt.
- Die Rechenkosten des Trainings hängen laut Bericht von Modellgröße und Tokenzahl ab.
- Megatron-Turing NLG mit 530 Milliarden Parametern wird als größeres Modell nach Gopher genannt und fehlt in Lunas Zusammenfassung.
- PaLM mit 540 Milliarden Parametern und 768 Milliarden Tokens wird im Bericht konkret beziffert, was in Lunas Zusammenfassung fehlt.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 40 %gleiches Oberthema, hilft nicht
- amos 26 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 60 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 47 %einzelne zitierbare Belege
- JEV 29 %beantwortet teilweise oder widerspricht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 22 %gleiches Oberthema, hilft nicht
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv