Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch28. Juli 2023 · Q005426

Trading off compute in training and inference

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht analysiert, wie sich Rechenaufwand zwischen Training und Inference verschieben lässt, und findet je nach Verfahren und Aufgabe mögliche Einsparungen in der Größenordnung von etwa einer bis wenigen Größenordnungen. Besonders große Vorteile durch wiederholtes Sampling bei automatisch überprüfbaren Aufgaben sind jedoch unsicher, weil die Daten begrenzt sind und die Hochrechnungen weit über den untersuchten Bereich hinausgehen.

Mittel

Der Epoch-AI-Bericht untersucht, wie Rechenaufwand zwischen Modelltraining und späteren Anfragen (Inference) verschoben werden kann. Einzelne Anfragen sind meist deutlich günstiger als das Training; über viele Nutzungen hinweg können ihre Gesamtkosten jedoch höher liegen. Die Autoren analysieren vier Verfahren anhand verfügbarer Skalierungsdaten: veränderte Modell- und Datenverhältnisse, Pruning, Monte-Carlo-Baumsuche sowie wiederholtes Sampling mit Auswahl. Chain-of-Thought und Modellkaskaden werden mangels geeigneter Daten nicht quantitativ untersucht.

Je nach Technik und Aufgabe könne zusätzlicher Aufwand auf einer Seite Einsparungen von ungefähr einer Größenordnung auf der anderen ermöglichen; der nötige Mehraufwand sei oft etwas größer. Bei günstig automatisch überprüfbaren Aufgaben könnte wiederholtes Sampling besonders viel leisten. Verschiedene Verfahren könnten zusammen etwa zwei bis drei Größenordnungen Austausch ermöglichen, wenn sie unterschiedliche Mechanismen nutzen. Die Autoren vermuten, dass breit eingesetzte Modelle wegen der vielen Anfragen auf niedrige Inference-Kosten optimiert werden, während teure Einzelanwendungen mehr Rechenzeit einsetzen können.

Die Ergebnisse sind begrenzt: Sie stützen sich auf wenige Techniken und Aufgaben, und manche Datensätze decken nur einen kleinen Bereich ab. Besonders große Sampling-Vorteile beruhen auf unsicheren Extrapolationen; für diese schätzen die Autoren ihre Zuversicht als gering ein.

Ausführlich lesen

Der Bericht von Epoch AI untersucht, wie sich Rechenaufwand für das Training und für spätere Modellanfragen (Inference) gegeneinander abwägen lässt. Ausgangspunkt ist, dass einzelne Anfragen meist viel weniger Rechenleistung benötigen als das Training, ihre Gesamtkosten über die Nutzungsdauer eines Modells wegen der großen Zahl von Anfragen aber das Training übersteigen können. Die Autoren argumentieren, dass zusätzlicher Inference-Aufwand die Fähigkeiten bei manchen Aufgaben spürbar verbessern kann und deshalb bei Prognosen und Überlegungen zur KI-Governance berücksichtigt werden sollte.

Für die Analyse wählten sie vier Techniken aus, zu denen genügend Daten für Skalierungsanalysen vorlagen: veränderte Verhältnisse von Modellgröße und Trainingsdaten, Pruning, Monte-Carlo-Baumsuche (MCTS) sowie wiederholtes Sampling mit Auswahl. Sie passten mathematische Modelle an veröffentlichte Daten an und untersuchten, wie sich Leistung bei verschiedenen Trainings- und Inference-Budgets verhält. Chain-of-Thought und Modellkaskaden diskutieren sie ebenfalls, werteten sie aber nicht quantitativ aus, unter anderem wegen fehlender Skalierungsdaten und weil sich ihre Nutzung oft nicht stufenweise dosieren lässt.

Die Ergebnisse variieren nach Technik und Aufgabenbereich. Als grobe Faustregel erwarten die Autoren, dass viele Techniken Einsparungen von etwa einer Größenordnung bei Training oder Inference ermöglichen, wenn der andere Aufwand um etwas mehr als eine Größenordnung steigt. Beispiele sind ein höherer Trainingsaufwand, der bei einem Chinchilla-ähnlichen Modell Inference-Kosten senken kann, oder zusätzliche Stichproben, mit denen ein kleineres Modell bei Codeaufgaben die Leistung eines größeren annähern kann. Besonders große mögliche Verschiebungen sehen sie bei Aufgaben, deren Lösungen automatisch und günstig überprüfbar sind: Dort könne wiederholtes Generieren die Trainingsanforderungen stark senken. Für die Kombination unterschiedlicher Verfahren halten sie insgesamt etwa zwei bis drei Größenordnungen für plausibel, sofern die Verfahren nicht auf denselben Mechanismen beruhen.

Die Autoren folgern, dass Modelle für den breiten Einsatz wegen der vielen Anfragen wirtschaftlich auf geringe Inference-Kosten optimiert werden dürften. Für einzelne, teure Anwendungen – etwa Modellbewertungen oder KI-Forschung – könnten dagegen leistungsfähigere Varianten sinnvoll sein, die mehr Inference-Rechenzeit einsetzen. Das könne laut Bericht helfen, künftige Fähigkeiten vorwegzunehmen oder Fortschritte in einzelnen Bereichen zu beschleunigen, wäre aber wegen der Kosten nicht unbedingt im großen Maßstab verfügbar.

Die Reichweite dieser Aussagen ist begrenzt. Die Befunde beruhen auf wenigen Techniken und Aufgabenfeldern; die Austauschrate ist nicht allgemein bezifferbar. Manche Daten decken nur wenige Größenordnungen ab. Besonders optimistisch sind die Hochrechnungen für unbegrenztes Sampling bei Code: Sie reichen über den Bereich hinaus, an den das Modell angepasst wurde, und leichtere Mathematikaufgaben zeigen keine vergleichbare Entwicklung. Die Autoren äußern deshalb geringe Zuversicht, dass dieser Sonderfall tatsächlich so große, mit der Skalierung wachsende Vorteile bietet. Sie erwarten im Allgemeinen eher konstante oder abnehmende Tauschbereiche und weisen darauf hin, dass sich Verfahren nicht immer wirksam kombinieren lassen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Sammelfragen SF-T3, SF-V5 und SF-E4 wurden jeweils einmal bewertet. Teilfragen waren nicht angegeben. Die Zusammenfassungen sind inhaltlich weitgehend treu, lassen aber die Governance-Folgen des Berichts aus.

Im Bericht, aber nicht in der Zusammenfassung

  • Governance-Folgen: Verstärkte Modelle sollen für Evaluierung und Sicherheitsforschung nützlich sein und könnten Firmen helfen, die eigene KI-Forschung zu beschleunigen
  • Die Konzentration fortgeschrittener KI bei Firmen mit sehr viel Rechenkapazität wird als Folge des Zusammenhangs von Trainingsrechenleistung und Fähigkeiten genannt

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 55 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 28 %gleiches Oberthema, hilft nicht
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 46 %gleiches Oberthema, hilft nicht
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 32 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 26 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 62 %Hintergrund, keine Belege
    • JEV 27 %gleiches Oberthema, hilft nicht
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 30 %gleiches Oberthema, hilft nicht
    • d3-ultra 46 %gleiches Oberthema, hilft nicht
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 31 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 51 %einzelne zitierbare Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 28 %gleiches Oberthema, hilft nicht
    • d3-ultra 40 %nur am Rande erwähnt
    • Haiku-Prüfung nur am Rande erwähnt
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 49 %einzelne zitierbare Belege
    • JEV 42 %umfangreiche Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 33 %Hintergrund, keine Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
    • clef 100 %kein Bezug
    • Luna 68 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 28 %Hintergrund, keine Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 36 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
  3. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 85 %Hintergrund, keine Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege
  5. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 42 %Hintergrund, keine Belege
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →