Chinchilla scaling: a replication attempt
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der vorgelegte Textauszug berichtet, Epoch AI habe Hoffmann et al.s parametrisches Skalierungsmodell anhand eines aus Abbildungen rekonstruierten Datenteils erneut angepasst und mehrere Probleme mit den ursprünglichen Schätzungen gefunden. Epochs eigene Schätzungen passten laut den Autoren besser und stimmten eher mit der Chinchilla-Regel überein; frühere Arbeiten, die auf den alten Werten beruhen, könnten deshalb überprüft werden. Die Analyse stützt sich laut Auszug auf rekonstruierte Teildaten und wird nicht vollständig beschrieben.
Mittel
Der vorgelegte Textauszug beschreibt eine Replikationsanalyse von Epoch AI zu Hoffmann et al.s Skalierungsgesetzen für Sprachmodelle. Deren bekannte Chinchilla-Regel empfiehlt, bei festem Rechenbudget Modellparameter und Trainings-Tokens gleich stark zu steigern; Chinchilla wurde mit 70 Milliarden Parametern und 1,4 Billionen Tokens trainiert.
Epoch rekonstruiert einen Teil der Daten aus Abbildungen des ursprünglichen Artikels und passt dessen parametrisches Modell erneut an. Die Autoren behaupten, Hoffmann et al.s Parameterschätzungen passten schlecht zu diesen Daten, ihre Konfidenzintervalle seien für eine Datenmenge von etwa 400 Modellen unplausibel eng und die daraus folgende Skalierung widerspreche anderen Ergebnissen sowie Chinchillas Token-Parameter-Verhältnis. Epochs eigene Schätzungen passten den rekonstruierten Daten zufolge besser und ergäben eine damit vereinbare Skalierungspolitik.
Die Autoren erwarten, dass frühere Arbeiten mit den ursprünglichen Schätzwerten überprüft werden sollten. Die Formel könne auch helfen, Modellgröße und Trainingsaufwand gegen Inferenzkosten abzuwägen. Als Einschränkung nennt der Auszug die Rekonstruktion eines Datenteils aus Abbildungen; er ist zudem keine vollständige Darstellung des Preprints oder der Analyse.
Ausführlich lesen
Der vorgelegte Textauszug stellt eine Replikationsanalyse von Epoch AI zu den Skalierungsgesetzen für Sprachmodelle vor. Hoffmann et al. untersuchten 2022 anhand von mehr als 400 Modellen, wie Modellgröße und Zahl der Trainingstokens bei festem Rechenbudget zusammenwirken. Ihre bekannte Chinchilla-Regel besagt, dass beide Größen für compute-optimales Training gleich stark wachsen sollten: Bei einer Verdoppelung der Modellparameterzahl soll sich auch die Tokenzahl verdoppeln. Das 70-Milliarden-Parameter-Modell Chinchilla wurde mit 1,4 Billionen Tokens trainiert, also mit rund 20 Tokens je Parameter.
Epoch konzentriert sich auf eine von Hoffmann et al. vorgeschlagene parametrische Formel, die den Zusammenhang zwischen Modellparametern, Trainingsdaten und Kreuzentropieverlust beschreibt. Die Autoren rekonstruieren einen Teil der zugrunde liegenden Daten, indem sie Werte aus Abbildungen des ursprünglichen Artikels extrahieren, und passen dieselbe Modellform an diese Daten an. Sie berichten drei Probleme mit den ursprünglichen Parameterschätzungen: Das angepasste Modell passe schlecht zu den rekonstruierten Daten, auch wenn mögliche Rekonstruktionsfehler berücksichtigt und Ausreißermodelle ausgeschlossen würden; die veröffentlichten Konfidenzintervalle seien angesichts einer erwarteten Datenmenge von ungefähr 400 Beobachtungen auffällig eng; und die aus dem Modell abgeleitete optimale Skalierung widerspreche sowohl den anderen Ansätzen von Hoffmann et al. als auch der für Chinchilla verwendeten 20-Tokens-je-Parameter-Regel.
Epoch zufolge liefern eigene Parameterschätzungen eine bessere Anpassung an die rekonstruierten Daten. Sie ergeben außerdem eine Skalierungspolitik, die mit den anderen Verfahren von Hoffmann et al. und dem Chinchilla-Trainingsverhältnis übereinstimmt. Der Auszug nennt keine konkreten Koeffizienten der neuen Formel. Er verweist auf ein Preprint, einen Colab-Notizbuch-Code und die rekonstruierten Daten samt Extraktionsverfahren.
Als mögliche Folge halten die Autoren eine Überprüfung früherer Arbeiten für nötig, die Hoffmann et al.s parametrische Schätzungen übernommen haben. Die Formel sei besonders nützlich, weil sie den Verlust für unterschiedliche Kombinationen aus Modellgröße und Datenmenge schätzen könne, auch wenn diese nicht compute-optimal sind. Das könne etwa helfen, Trainingsaufwand gegen spätere Inferenzkosten abzuwägen. Der Text nennt Beispiele aus Forschung zu Inferenzkosten, Kohlenstoffbilanz, kleinen Sprachmodellen, Datenknappheit und möglichen KI-Forschungsmodellen. Epoch erklärt, auch eigene frühere Analysen hätten auf den fraglichen Schätzwerten beruht.
Die belegte methodische Einschränkung: Die Replikation verwendet einen aus Abbildungen rekonstruierten Teil der Daten, nicht nach Darstellung des Auszugs die vollständigen Originaldaten. Die Schlussfolgerungen und die Kritik an den Konfidenzintervallen sind daher als Ergebnisse beziehungsweise Einschätzungen der Epoch-Autoren wiederzugeben. Der vorgelegte Text ist ein Auszug der Veröffentlichungsseite und keine vollständige Darstellung des Preprints oder aller Analyseschritte.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 47 %einzelne zitierbare Belege
- JEV 40 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %gleiches Oberthema, hilft nicht
- amos 25 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 45 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 30 %beantwortet teilweise oder widerspricht
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 19 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug