Trading off compute in training and inference
Zusammenfassung
Kurz
Der Bericht analysiert, wie sich Rechenaufwand zwischen Training und Inference verschieben lässt, und findet je nach Verfahren und Aufgabe mögliche Einsparungen in der Größenordnung von etwa einer bis wenigen Größenordnungen. Besonders große Vorteile durch wiederholtes Sampling bei automatisch überprüfbaren Aufgaben sind jedoch unsicher, weil die Daten begrenzt sind und die Hochrechnungen weit über den untersuchten Bereich hinausgehen.
Mittel
Der Epoch-AI-Bericht untersucht, wie Rechenaufwand zwischen Modelltraining und späteren Anfragen (Inference) verschoben werden kann. Einzelne Anfragen sind meist deutlich günstiger als das Training; über viele Nutzungen hinweg können ihre Gesamtkosten jedoch höher liegen. Die Autoren analysieren vier Verfahren anhand verfügbarer Skalierungsdaten: veränderte Modell- und Datenverhältnisse, Pruning, Monte-Carlo-Baumsuche sowie wiederholtes Sampling mit Auswahl. Chain-of-Thought und Modellkaskaden werden mangels geeigneter Daten nicht quantitativ untersucht.
Je nach Technik und Aufgabe könne zusätzlicher Aufwand auf einer Seite Einsparungen von ungefähr einer Größenordnung auf der anderen ermöglichen; der nötige Mehraufwand sei oft etwas größer. Bei günstig automatisch überprüfbaren Aufgaben könnte wiederholtes Sampling besonders viel leisten. Verschiedene Verfahren könnten zusammen etwa zwei bis drei Größenordnungen Austausch ermöglichen, wenn sie unterschiedliche Mechanismen nutzen. Die Autoren vermuten, dass breit eingesetzte Modelle wegen der vielen Anfragen auf niedrige Inference-Kosten optimiert werden, während teure Einzelanwendungen mehr Rechenzeit einsetzen können.
Die Ergebnisse sind begrenzt: Sie stützen sich auf wenige Techniken und Aufgaben, und manche Datensätze decken nur einen kleinen Bereich ab. Besonders große Sampling-Vorteile beruhen auf unsicheren Extrapolationen; für diese schätzen die Autoren ihre Zuversicht als gering ein.
Ausführlich lesen
Der Bericht von Epoch AI untersucht, wie sich Rechenaufwand für das Training und für spätere Modellanfragen (Inference) gegeneinander abwägen lässt. Ausgangspunkt ist, dass einzelne Anfragen meist viel weniger Rechenleistung benötigen als das Training, ihre Gesamtkosten über die Nutzungsdauer eines Modells wegen der großen Zahl von Anfragen aber das Training übersteigen können. Die Autoren argumentieren, dass zusätzlicher Inference-Aufwand die Fähigkeiten bei manchen Aufgaben spürbar verbessern kann und deshalb bei Prognosen und Überlegungen zur KI-Governance berücksichtigt werden sollte.
Für die Analyse wählten sie vier Techniken aus, zu denen genügend Daten für Skalierungsanalysen vorlagen: veränderte Verhältnisse von Modellgröße und Trainingsdaten, Pruning, Monte-Carlo-Baumsuche (MCTS) sowie wiederholtes Sampling mit Auswahl. Sie passten mathematische Modelle an veröffentlichte Daten an und untersuchten, wie sich Leistung bei verschiedenen Trainings- und Inference-Budgets verhält. Chain-of-Thought und Modellkaskaden diskutieren sie ebenfalls, werteten sie aber nicht quantitativ aus, unter anderem wegen fehlender Skalierungsdaten und weil sich ihre Nutzung oft nicht stufenweise dosieren lässt.
Die Ergebnisse variieren nach Technik und Aufgabenbereich. Als grobe Faustregel erwarten die Autoren, dass viele Techniken Einsparungen von etwa einer Größenordnung bei Training oder Inference ermöglichen, wenn der andere Aufwand um etwas mehr als eine Größenordnung steigt. Beispiele sind ein höherer Trainingsaufwand, der bei einem Chinchilla-ähnlichen Modell Inference-Kosten senken kann, oder zusätzliche Stichproben, mit denen ein kleineres Modell bei Codeaufgaben die Leistung eines größeren annähern kann. Besonders große mögliche Verschiebungen sehen sie bei Aufgaben, deren Lösungen automatisch und günstig überprüfbar sind: Dort könne wiederholtes Generieren die Trainingsanforderungen stark senken. Für die Kombination unterschiedlicher Verfahren halten sie insgesamt etwa zwei bis drei Größenordnungen für plausibel, sofern die Verfahren nicht auf denselben Mechanismen beruhen.
Die Autoren folgern, dass Modelle für den breiten Einsatz wegen der vielen Anfragen wirtschaftlich auf geringe Inference-Kosten optimiert werden dürften. Für einzelne, teure Anwendungen – etwa Modellbewertungen oder KI-Forschung – könnten dagegen leistungsfähigere Varianten sinnvoll sein, die mehr Inference-Rechenzeit einsetzen. Das könne laut Bericht helfen, künftige Fähigkeiten vorwegzunehmen oder Fortschritte in einzelnen Bereichen zu beschleunigen, wäre aber wegen der Kosten nicht unbedingt im großen Maßstab verfügbar.
Die Reichweite dieser Aussagen ist begrenzt. Die Befunde beruhen auf wenigen Techniken und Aufgabenfeldern; die Austauschrate ist nicht allgemein bezifferbar. Manche Daten decken nur wenige Größenordnungen ab. Besonders optimistisch sind die Hochrechnungen für unbegrenztes Sampling bei Code: Sie reichen über den Bereich hinaus, an den das Modell angepasst wurde, und leichtere Mathematikaufgaben zeigen keine vergleichbare Entwicklung. Die Autoren äußern deshalb geringe Zuversicht, dass dieser Sonderfall tatsächlich so große, mit der Skalierung wachsende Vorteile bietet. Sie erwarten im Allgemeinen eher konstante oder abnehmende Tauschbereiche und weisen darauf hin, dass sich Verfahren nicht immer wirksam kombinieren lassen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Sammelfragen SF-T3, SF-V5 und SF-E4 wurden jeweils einmal bewertet. Teilfragen waren nicht angegeben. Die Zusammenfassungen sind inhaltlich weitgehend treu, lassen aber die Governance-Folgen des Berichts aus.
Im Bericht, aber nicht in der Zusammenfassung
- Governance-Folgen: Verstärkte Modelle sollen für Evaluierung und Sicherheitsforschung nützlich sein und könnten Firmen helfen, die eigene KI-Forschung zu beschleunigen
- Die Konzentration fortgeschrittener KI bei Firmen mit sehr viel Rechenkapazität wird als Folge des Zusammenhangs von Trainingsrechenleistung und Fähigkeiten genannt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 55 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 45 %gleiches Oberthema, hilft nicht
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 51 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 26 %gleiches Oberthema, hilft nicht
- d3-ultra 56 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 30 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 30 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 31 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 51 %einzelne zitierbare Belege
- JEV 36 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 28 %gleiches Oberthema, hilft nicht
- d3-ultra 40 %nur am Rande erwähnt
- Haiku-Prüfung nur am Rande erwähnt
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 49 %einzelne zitierbare Belege
- JEV 42 %umfangreiche Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 33 %Hintergrund, keine Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 68 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 56 %Hintergrund, keine Belege
- JEV 28 %Hintergrund, keine Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %einzelne zitierbare Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 85 %Hintergrund, keine Belege
- JEV 50 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 56 %Hintergrund, keine Belege
- JEV 42 %Hintergrund, keine Belege
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv