Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind12. April 2022 · Q002273

An empirical analysis of compute-optimal large language model training

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Die Autoren schätzen anhand von Trainingsversuchen, dass große Sprachmodelle ihrer Zeit für ihr Rechenbudget zu groß und mit zu wenigen Tokens trainiert waren. Chinchilla (70 Milliarden Parameter, 1,3 Billionen Tokens) habe bei gleichem Trainingsaufwand Gopher auf nahezu allen verglichenen Aufgaben übertroffen; der Bericht nennt jedoch keine Einzelwerte und weist beim PaLM-Vergleich auf einen anderen Trainingskorpus hin.

Mittel

Der Bericht fragt, wie sich ein festes Trainings-Rechenbudget optimal zwischen Modellgröße und Zahl der Trainings-Tokens aufteilen lässt. Die Autoren untersuchten dies empirisch mit Modellen verschiedener Größen und Datenmengen. Sie folgern, dass damalige große Sprachmodelle zu viele Parameter und zu wenige Trainingsdaten hatten: Beim Rechenaufwand von Gopher (280 Milliarden Parameter) wäre demnach ein Modell mit einem Viertel der Parameter und viermal so vielen Tokens günstiger gewesen.

Als Beispiel nennen sie Chinchilla mit 70 Milliarden Parametern und 1,3 Billionen Tokens. Bei gleichem Trainings-Rechenaufwand wie Gopher habe es dieses und weitere Modelle auf nahezu allen verglichenen Aufgaben übertroffen. Der Bericht nennt mehrere Benchmarks, aber keine einzelnen Messwerte. PaLM nutzte ungefähr das Fünffache von Chinchillas Rechenbudget und übertraf es laut Text bei einer Reihe von Aufgaben; sein Trainingskorpus war jedoch ein anderer. Für PaLMs Budget schätzen die Autoren 140 Milliarden Parameter und drei Billionen Tokens als optimale Aufteilung. Kleinere leistungsfähige Modelle können zudem Speicher- und Inferenzkosten senken.

Ausführlich lesen

Der Bericht untersucht, wie ein festes Rechenbudget für das Training großer Sprachmodelle am besten zwischen Modellgröße und Zahl der Trainings-Tokens aufgeteilt werden sollte. Die Autoren argumentieren, dass frühere Modelle vor allem durch mehr Parameter skaliert wurden, während die Trainingsdatenmenge häufig bei ungefähr 300 Milliarden Tokens blieb. Da beide Faktoren den Rechenaufwand von Transformer-Modellen bestimmen, trainierten sie Modelle unterschiedlicher Größe mit unterschiedlich vielen Tokens und schätzten daraus empirisch eine recheneffiziente Aufteilung.

Als zentrale Schlussfolgerung geben die Autoren an, dass damalige große Sprachmodelle im Verhältnis zu ihrem Trainingsbudget zu viele Parameter und zu wenige Trainingsdaten hatten. Für den Rechenaufwand von Gopher, einem Modell mit 280 Milliarden Parametern, wäre nach ihrer Schätzung ein Modell mit einem Viertel der Parameter und viermal so vielen Trainings-Tokens vorzuziehen gewesen.

Zur Überprüfung trainierten sie Chinchilla mit 70 Milliarden Parametern auf 1,3 Billionen Tokens. Laut Bericht hatte Chinchilla dabei denselben Trainings-Rechenaufwand wie Gopher und übertraf Gopher sowie weitere verglichene Modelle auf nahezu allen aufgeführten Aufgaben. Die Abbildungen vergleichen die Modelle unter anderem bei MMLU, TriviaQA, LAMBADA, HellaSwag, PIQA, WinoGrande und BoolQ. Der Text nennt jedoch keine einzelnen Messwerte; die berichtete Überlegenheit ist daher hier nur in der beschriebenen Form zusammenzufassen.

Der Bericht ordnet auch PaLM ein, das nach Chinchilla mit 540 Milliarden Parametern und 768 Milliarden Tokens veröffentlicht wurde. PaLM nutzte laut Text ungefähr das Fünffache des Chinchilla-Rechenbudgets und übertraf Chinchilla bei einer Reihe von Aufgaben. Die Autoren betonen, dass PaLM auf einem anderen Korpus trainiert wurde. Ihre Methode sage dennoch voraus, dass PaLM mit diesen Daten Chinchilla übertreffen könne, obwohl es nicht recheneffizient trainiert worden sei. Für PaLMs Rechenbudget schätzen sie ein Modell mit 140 Milliarden Parametern und drei Billionen Tokens als optimal und für die Inferenz effizienter ein.

Als praktischen Vorteil kleinerer, leistungsfähigerer Modelle nennt der Bericht geringere Speicher- und Laufzeitkosten beim Einsatz. Die Aussagen beruhen auf den im Beitrag beschriebenen empirischen Vergleichen und Schätzungen. Der Text führt weder die vollständigen Versuchsdaten noch detaillierte Zahlen für alle Benchmarks auf und weist beim Vergleich mit PaLM ausdrücklich auf den unterschiedlichen Trainingskorpus hin.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassung ist im Kern treu, lässt aber Angaben zu PaLM, Megatron-Turing und den fest gehaltenen 300 Milliarden Trainingstokens aus. Ihre Einordnung der Sammelfragen liegt bei SF-V5 und SF-P4 zu hoch, weil der Bericht dazu nur am Rande oder gar nichts Belegbares beiträgt.

Im Bericht, aber nicht in der Zusammenfassung

  • Die aktuelle Modellgeneration hält die Trainingsdatenmenge laut Bericht bei rund 300 Milliarden Tokens fest, während die Parameterzahl steigt.
  • Die Rechenkosten des Trainings hängen laut Bericht von Modellgröße und Tokenzahl ab.
  • Megatron-Turing NLG mit 530 Milliarden Parametern wird als größeres Modell nach Gopher genannt und fehlt in Lunas Zusammenfassung.
  • PaLM mit 540 Milliarden Parametern und 768 Milliarden Tokens wird im Bericht konkret beziffert, was in Lunas Zusammenfassung fehlt.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 54 %Hintergrund, keine Belege
    • JEV 40 %gleiches Oberthema, hilft nicht
    • amos 26 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 60 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 47 %einzelne zitierbare Belege
    • JEV 29 %beantwortet teilweise oder widerspricht
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 22 %gleiches Oberthema, hilft nicht
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →