Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch20. Januar 2022 · Q004371

Estimating training compute of deep learning models

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI stellt eine architekturbasierte FLOP-Zählung und eine Schätzung anhand von GPU-Zeit und Spitzenleistung vor. Beide hängen von Annahmen ab: besonders von Architekturdetails beziehungsweise Hardware, Zahlenpräzision und tatsächlicher GPU-Auslastung; Profiler können ebenfalls ungenau sein. Der Bericht empfiehlt, beide Schätzungen nach Möglichkeit als gegenseitige Plausibilitätskontrolle zu nutzen.

Mittel

Der Bericht beschreibt zwei Verfahren, um den Trainingsaufwand neuronaler Netze in FLOP zu schätzen. Beim architekturbasierten Verfahren wird der Rechenaufwand eines Vorwärtsdurchlaufs ermittelt und mit der Zahl der Trainingsdurchläufe multipliziert. Als Näherung setzt Epoch AI den Rückwärtsdurchlauf häufig mit dem Doppelten des Vorwärtsdurchlaufs an; insgesamt ergibt das etwa den Faktor drei. Das Verhältnis variiert jedoch mit Architektur und Trainingsdetails. Beispiele im Bericht ergeben rund 7,9 × 10¹⁸ FLOP für ein CNN-LSTM-Modell und 7,0 × 10¹⁸ FLOP für den beschriebenen Transformer.

Das zweite Verfahren nutzt Trainingsdauer, Zahl und Spitzenleistung der GPUs sowie eine geschätzte Auslastung. Als Richtwerte schlägt der Bericht 30 Prozent für große Sprachmodelle und 40 Prozent für andere Netze vor. Sind Hardware oder Zahlenpräzision unbekannt, müssen sie anhand von Annahmen geschätzt werden. Das Image-GPT-Beispiel verwendet etwa 2.500 V100-GPU-Tage, angenommene FP16-Leistung und 30 Prozent Auslastung.

Beide Verfahren haben Grenzen: Die Operationszählung ist eine Heuristik; GPU-Schätzungen hängen von unsicheren Auslastungs- und Hardwareannahmen ab. Auch Profiler können ungenaue Werte liefern. Epoch AI empfiehlt daher, wenn möglich beide Ansätze zu vergleichen. In der angeführten Analyse lagen die Ergebnisse meist höchstens um den Faktor zwei auseinander.

Ausführlich lesen

Der Bericht erklärt zwei Wege, den Rechenaufwand beim Training neuronaler Netze in FLOP (Gleitkommaoperationen) zu schätzen. Epoch AI begründet die Bedeutung solcher Schätzungen damit, dass Modelle mit mehr Trainingsrechenleistung laut angeführten Arbeiten häufig bessere Leistungen und weitergehende Fähigkeiten zeigen. Vergleichbare Angaben sollen daher Vergleiche zwischen Modellen erleichtern.

Der erste Weg zählt die Operationen der Architektur. Man schätzt zunächst die Rechenarbeit eines Vorwärtsdurchlaufs und multipliziert sie mit der Zahl der Trainingsdurchläufe. Dafür werden Beispiele, Batches und Epochen herangezogen. Für viele Modelle setzt der Bericht den Aufwand des Rückwärtsdurchlaufs heuristisch mit etwa dem Doppelten des Vorwärtsdurchlaufs an; zusammen ergibt das ungefähr den Faktor drei. Das Verhältnis könne je nach Schicht, Batchgröße und Architektur jedoch abweichen. Der Artikel beschreibt Rechenansätze für gängige Schichten und zeigt Beispiele: Für ein CNN-LSTM-Modell schätzt er rund 7,9 × 10¹⁸ FLOP, für den Transformer aus „Attention Is All You Need“ rund 7,0 × 10¹⁸ FLOP. Diese Beispiele veranschaulichen die Methode und sind keine allgemeingültigen Werte.

Der zweite Weg leitet den Aufwand aus Trainingsdauer, Zahl der Beschleuniger und deren Spitzenleistung ab. Die theoretische Spitzenleistung muss mit einer Auslastungsannahme korrigiert werden, weil Speicherbandbreite, Kommunikation zwischen GPUs und die Eignung des Modells für Parallelisierung die tatsächliche Leistung begrenzen. Epoch AI empfiehlt als Richtwerte 30 Prozent Auslastung für große Sprachmodelle und 40 Prozent für andere Netze. Wenn Angaben zur Hardware fehlen, schlägt der Bericht vor, durchschnittliche GPU-Leistungswerte aus Veröffentlichungen desselben Jahres einzusetzen. Auch die verwendete Zahlenpräzision, etwa FP32 oder FP16, müsse berücksichtigt werden; wenn sie nicht dokumentiert sei, seien Annahmen nötig.

Am Beispiel von Image GPT wird die zweite Methode vorgeführt: Der Bericht entnimmt einer Veröffentlichung ungefähr 2.500 V100-GPU-Tage, nimmt mangels Angabe zur Zahlenpräzision FP16 an und verwendet wegen der besonderen Anforderungen der Tensor-Kerne eine Auslastung von 30 Prozent. Der Text nennt dieses Vorgehen ausdrücklich als Schätzung, die auf Annahmen beruht.

Als Grenzen hebt der Bericht hervor, dass die Operationszählung eine Heuristik bleibt und genaue Architektur- und Trainingsdetails benötigt. GPU-basierte Schätzungen hängen stark von unsicheren Angaben zu Hardware, Präzision und Auslastung ab. Auch Profiling-Werkzeuge können Operationen über- oder unterzählen oder auslassen; ihre Werte seien deshalb vorsichtig zu behandeln. Epoch AI empfiehlt, wenn möglich beide Methoden anzuwenden und die Ergebnisse als Plausibilitätskontrolle zu vergleichen. Laut dem Bericht lagen solche Vergleiche in der angeführten Analyse meist innerhalb eines Faktors von zwei. Die bereitgestellte Fassung enthält einige Tabellenformeln nur unvollständig, sodass sich nicht alle dort aufgeführten Detailgleichungen aus dem Text rekonstruieren lassen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurde die mittlere Zusammenfassung. Die kurze Fassung ist sachlich ebenfalls korrekt, betont aber stärker die Unsicherheiten, und die Einordnung gilt für beide gleichermaßen.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Empfehlung, bei Verfügbarkeit das architekturbasierte Verfahren vorzuziehen, weil es genauer ist und die GPU-Auslastung schwer zu schätzen ist
  • Die Spanne der Auslastung je nach Setup, etwa 25 bis 75 Prozent bei Einzel-GPUs und deutlich niedriger bei Mehr-GPU-Setups

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 27 %Hintergrund, keine Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-P3-T05 Welches Mindestpaket (Datenverzeichnisse, Code, Zufallsstartwerte, Abbilder der Rechenumgebung, Prüferversionen, Fehlerprotokolle und Annahmen über die Hardware) muss ein Labor sichern oder kontrolliert hinterlegen, damit ein Prüfer ein sicherheitskritisches Trainings- oder Prüfergebnis auch nach Ende seines Zugangs nachrechnen kann, und welche Geheimnisse bleiben unzugänglich? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 20 %Hintergrund, keine Belege
    • Luna 49 %einzelne zitierbare Belege
    • JEV 25 %einzelne zitierbare Belege
    • amos 27 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 39 %Hintergrund, keine Belege
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät? Luna: Stufe 3 · 54 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 44 %gleiches Oberthema, hilft nicht
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 24 %Hintergrund, keine Belege
    • Luna 70 %Hintergrund, keine Belege
    • JEV 31 %Hintergrund, keine Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 77 %Hintergrund, keine Belege
    • JEV 27 %Hintergrund, keine Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug

Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 46 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Frieden und Sicherheit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →