Optimally allocating compute between inference and training
Zusammenfassung
Kurz
Der Bericht argumentiert, dass sich Trainings- und Inferenzaufwand durch verschiedene Verfahren gegeneinander tauschen lassen und daher bei kostenoptimaler Planung voraussichtlich in einer ähnlichen Größenordnung liegen. Die Schlussfolgerung hängt davon ab, dass solche Einsparmöglichkeiten weiter bestehen; unter anderem könnten ausgeschöpfte Verfahren oder zusätzliche Kostenfaktoren das Ergebnis verändern. In der überlieferten Fassung fehlen mathematische Ausdrücke, die Herleitungsüberschrift ist leer und eine Bildunterschrift abgebrochen.
Mittel
Ege Erdil erläutert, warum der Rechenaufwand für das Training großer Modelle und für ihre Inferenz langfristig ähnlich groß sein könnte. Modelle lassen sich sowohl durch mehr Training als auch durch zusätzliche Berechnungen während der Nutzung verbessern. Verfahren wie wiederholte Stichproben, Webzugriff oder MCTS können Inferenzleistung erhöhen; umgekehrt kann etwa ein größeres Trainingsdatenset kleinere und günstigere Modelle ermöglichen. Die möglichen Tauschverhältnisse unterscheiden sich je nach Verfahren. Als grobe Näherung nimmt der Bericht an, dass etwa eine Größenordnung mehr Trainingsaufwand ungefähr eine Größenordnung Inferenzaufwand einsparen kann.
Bei stark ungleichen Ausgaben könnte ein Labor durch eine Verschiebung der Ressourcen Kosten senken, ohne die Leistung zu verschlechtern. Das optimale Verhältnis hängt vom konkreten Tauschverhältnis ab. Deshalb erwartet der Autor, dass Training und Inferenz bei kostenoptimaler Planung in derselben Größenordnung bleiben. Das ist keine Garantie: Die bekannten Einsparmöglichkeiten könnten ausgeschöpft sein, und weitere Verfahren könnten den Spielraum verändern. Speicherbandbreite, künftig günstigere Rechenleistung und unsichere Nachfrage werden als nicht näher modellierte Faktoren genannt. Die überlieferte Fassung lässt mathematische Ausdrücke aus und enthält eine leere Herleitungsüberschrift sowie eine abgeschnittene Bildunterschrift.
Ausführlich lesen
Der Bericht von Ege Erdil untersucht, wie sich Rechenaufwand für das Training großer Sprachmodelle und für ihre spätere Nutzung (Inferenz) gegeneinander abwägen lässt. Ausgangspunkt ist eine von Sam Altman genannte Größenordnung von rund 100 Milliarden erzeugten Tokens pro Tag. Zusammen mit der Beobachtung, dass Trainingstokens etwa dreimal so teuer seien wie Inferenz-Tokens, legt eine vereinfachte Rechnung nahe, dass die jährlichen Kosten für Training und Inferenz ähnlich groß sein könnten. Der Bericht erklärt, warum diese Größenordnung plausibel erscheint.
Modelle können laut Bericht entweder durch mehr Rechenaufwand beim Training oder durch zusätzliche Berechnungen während der Inferenz bessere Leistungen erzielen. Als Beispiele für Inferenzverfahren nennt er längere Gedankengänge, Webzugriff, wiederholte Stichproben und bei spielenden Systemen zusätzliche MCTS-Simulationen. Auch ein größeres Trainingsdatenset kann es ermöglichen, ein kleineres Modell einzusetzen, dessen Inferenz günstiger ist. Eine angeführte Übersicht zu verschiedenen Verfahren zeigt jedoch unterschiedliche Tauschverhältnisse: Je nach Methode und Bereich kann der mögliche Spielraum stark variieren. Die Autoren der Übersicht setzen als grobe Faustregel an, dass sich ungefähr eine Größenordnung Rechenaufwand auf der einen Seite gegen etwas mehr als eine Größenordnung auf der anderen tauschen lässt. Erdil vereinfacht dies für seine Argumentation auf ungefähr eine Größenordnung gegen eine.
Der zentrale Gedankengang: Wenn zusätzliche Trainingsberechnungen die nötige Inferenzmenge senken können, lohnt es sich bei sehr ungleichen Ausgaben, Rechenaufwand von der stärker belasteten zur weniger belasteten Seite zu verschieben. Bei einem angenommenen Verhältnis von einer Größenordnung Training zu zwei Größenordnungen Inferenz führt eine gleichmäßige Aufteilung laut Beispiel nicht zur effizientesten Lösung. Eine Aufteilung von 200 ZettaFLOP fürs Training und 100 ZettaFLOP für die Inferenz sei in diesem Modell effizienter. Allgemein hänge die optimale Aufteilung davon ab, wie stark der jeweilige Tausch ausfällt. Kleine Abweichungen vom angenommenen Verhältnis von eins ändern die qualitative Aussage laut Bericht wenig; stark ungleiche Ausgaben wären eher dann zu erwarten, wenn das Tauschverhältnis weit von eins entfernt liegt.
Daraus folgert der Bericht, dass Training und Inferenz bei einer kostenoptimalen Wahl voraussichtlich in einer ähnlichen Größenordnung liegen und eine Seite nicht dauerhaft um mindestens eine Größenordnung dominieren sollte. Die Aussage gilt unter der Einschränkung, dass die bekannten Tauschmöglichkeiten über einen ausreichend großen Bereich verfügbar bleiben. Sie könnte scheitern, wenn Einsparungen bei der Inferenz ausgeschöpft sind oder weitere Tauschmöglichkeiten fehlen. Als zusätzliche, hier nicht ausführlich modellierte Faktoren nennt der Text Speicherbandbreite, sinkende künftige Rechenkosten und die Unsicherheit über die Nachfrage. Eine realistischere Modellierung wird als künftige Arbeit beschrieben. Die überlieferte Fassung enthält eine leere Herleitungsüberschrift, ausgelassene mathematische Ausdrücke und eine abgeschnittene Bildunterschrift; die formale Herleitung lässt sich daraus nicht im Detail nachvollziehen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Einordnung betrifft nur die drei Sammelfragen, Teilfragen wurden nicht angegeben. Die Zusammenfassung wurde anhand der beiden vorliegenden Fassungen (kurz und mittel) gemeinsam geprüft. Der Bericht selbst ist eine Fassung mit fehlenden Formeln, einer leeren Herleitungsüberschrift und einer abgeschnittenen Bildunterschrift.
Im Bericht, aber nicht in der Zusammenfassung
- Ausgangspunkt: Schätzung der OpenAI-Tokenmenge und der naive Vergleich der Inferenz- mit den Trainingskosten
- Das Rechenbeispiel mit 300 Zettaflop und der Nachweis, dass die gleichmäßige Aufteilung nicht optimal ist
- Die empirische Tabelle von Villalobos und Atkinson mit den Tauschspannen je Verfahren
- Die Aussage, dass nur extreme Verhältnisse (unter 0,1 oder über 10) deutlich unterschiedliche Größenordnungen ergeben
- Die Grenzen des Arguments: mögliche Ausschöpfung der Tauschmöglichkeiten sowie die Hinweise auf Speicherbandbreite und fehlendes Nachfragewissen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 56 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 30 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 51 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht