How to measure FLOP for neural networks empirically?
Zusammenfassung
Kurz
In Versuchen mit 13 Netzen auf einer Tesla P100 schätzt der Autor die GPU-Auslastung für die meisten Architekturen auf 0,3 bis 0,75 und das Rückwärts-zu-Vorwärts-Verhältnis meist auf etwa 2:1. MobileNet und EfficientNet sind mit rund 0,04 Ausreißer; eine vermutete Ursache sind fehlerhafte Profiler-Zählungen, doch die Messungen sind generell durch Über- und Unterzählungen sowie mögliche Fehler eingeschränkt.
Mittel
Der Bericht beschreibt Versuche zur empirischen Bestimmung von FLOP und GPU-Auslastung beim Training von 13 Bildklassifikationsnetzen auf einer Tesla P100 in Google Colab. Für den Vorwärtslauf lieferten mehrere Werkzeuge Schätzungen; die Zählung des Rückwärtslaufs war schwieriger. Die verwendete Profiler-Nsight-Methode zeigte nach Einschätzung des Autors Über- und Unterzählungen. Auch FMA-Zählkonventionen und mögliche eigene Messfehler schränken die Genauigkeit ein.
Nach Bereinigung mutmaßlicher Doppelzählungen lagen die geschätzten Rückwärts-zu-Vorwärts-Verhältnisse meist bei etwa 2:1. Größere Stapel verkürzten bei vier von fünf untersuchten Modellen die Trainingszeit geringfügig; für VGG13 galt das nicht. Vier Berechnungsansätze ergaben für die meisten Architekturen Auslastungswerte von 0,3 bis 0,75. Theoretische Schätzungen und Messungen über Stapel oder Epochen waren häufig ähnlich, während ein einzelnes Beispiel weniger effizient war.
MobileNet und EfficientNet lagen als Ausreißer bei ungefähr 0,04. Der Autor vermutet, dass der Profiler FLOP in invertierten Bottleneck-Schichten nicht richtig erfasst. Die Ergebnisse bleiben auf den konkreten Versuchsaufbau beschränkt und sind wegen möglicher Unterzählungen und weiterer Fehler unsicher.
Ausführlich lesen
Der Bericht untersucht, wie sich der Rechenaufwand in FLOP und die Auslastung einer GPU beim Training verschiedener neuronaler Netze empirisch bestimmen lassen. Marius Hobbhahn beschreibt Messungen an 13 Bildklassifikationsarchitekturen auf einer Tesla P100 in Google Colab. Die Eingaben hatten die Größe 3 × 224 × 224 und zehn Klassen; je nach Versuch wurden einzelne Zufallsstapel verschiedener Größe oder der CIFAR-10-Testdatensatz verwendet. Die GPU-Auslastung wird als gemessene Leistung im Verhältnis zur Spitzenleistung definiert.
Für den Vorwärtslauf verglich der Autor mehrere Zählwerkzeuge, darunter fvcore, ptflops, pthflops und den PyTorch-Profiler. Den Rückwärtslauf zu zählen erwies sich als schwieriger: Die genannten Pakete schätzen ihn nicht zuverlässig, während die verwendete Kombination aus Profiler und Nsight Systems nach Einschätzung des Autors Operationen teils über- und teils unterzählt. Eine alternative NVIDIA-Lösung, dlprof, ließ sich in Colab nicht erfolgreich nutzen. Auch die unterschiedliche Zählweise für Fused Multiply-Add-Operationen und die Annahmen zur Spitzenleistung können die Schätzungen beeinflussen. Der Autor weist ausdrücklich darauf hin, dass Fehler in den Messungen möglich sind.
Nach einer Bereinigung mutmaßlicher Doppelzählungen, bei der mögliche Unterzählungen bestehen bleiben, lagen die geschätzten Rückwärts-zu-Vorwärts-Verhältnisse meist nahe 2:1. Daraus leitet der Bericht ab, dass der Rückwärtslauf in diesem Versuchsaufbau ungefähr doppelt so viele FLOP wie der Vorwärtslauf benötigt. Bei vier von fünf untersuchten Modellen verkürzten größere Stapel die Trainingszeit geringfügig; für VGG13 zeigte sich diese Tendenz nicht. Eine Erklärung dafür liefern die Messungen nicht sicher.
Die Auslastung wurde mit vier Ansätzen berechnet: einer theoretischen Schätzung, die den Vorwärtsaufwand mit drei multipliziert, sowie Messungen für einen einzelnen Durchlauf, einen Stapel und eine Epoche. Für die meisten Architekturen ergaben sich Werte zwischen 0,3 und 0,75. Theorie und empirische Werte für Stapel und Epochen waren häufig ähnlich; ein einzelnes Beispiel nutzte die GPU weniger effizient. MobileNet und EfficientNet bildeten mit Werten um 0,04 deutliche Ausreißer. Der Autor vermutet, dass der Profiler bei invertierten Bottleneck-Schichten FLOP nicht korrekt erfasst; dies ist eine Erklärungshypothese, kein gesicherter Nachweis.
Die Ergebnisse gelten für die untersuchten Modelle, Messmethoden und die P100. Der Bericht bezeichnet die Daten als fehleranfällig und lässt Unterzählungen sowie weitere Messfehler offen. Er kündigt eine vertiefte Untersuchung des Rückwärts-Vorwärts-Verhältnisses in einem späteren Beitrag an.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Beide Zusammenfassungen von Luna (kurz und mittel) wurden gemeinsam geprüft; sie geben die Kernaussagen zu Auslastung, Rückwärts-Vorwärts-Verhältnis und Ausreißern korrekt wieder. Die Einordnung bezieht sich nur auf die beiden angegebenen Sammelfragen, Teilfragen gab es nicht.
Im Bericht, aber nicht in der Zusammenfassung
- Die Ausreißer-Erklärung ist nur eine vermutete Ursache, und der Autor betont, ohne Vorerfahrung und mit möglichen Anfängerfehlern gearbeitet zu haben.
- Der Versuch, dlprof zu nutzen, scheiterte an der Installation in Colab, weshalb keine FLOP-Information gewonnen werden konnte.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 35 %umfangreiche Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 30 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 31 %Hintergrund, keine Belege
- Haiku-Prüfung Hintergrund, keine Belege
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 39 %umfangreiche Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug