What’s the backward-forward FLOP ratio for neural networks?
Zusammenfassung
Kurz
Der Bericht leitet theoretisch ein Rückwärts-zu-Vorwärts-Verhältnis von etwa 1:1 bis 3:1 her und bezeichnet 2:1 für tiefe Netze mit großen Batches als typischen Wert. Messungen stützen diese Einschätzung, doch mögliche Über- und Unterzählungen des verwendeten Profilers lassen einen Rest an Unsicherheit.
Mittel
Der Bericht untersucht das Verhältnis der FLOP-Zahl im Rückwärtslauf zur FLOP-Zahl im Vorwärtslauf neuronaler Netze, um den Trainingsaufwand abzuschätzen. Theoretisch entfallen bei der ersten Schicht etwa gleich viele FLOP auf beide Läufe; bei den übrigen Schichten ist der Rückwärtslauf ungefähr doppelt so aufwendig. Je nachdem, wie stark die Gewichtsaktualisierung zählt und welcher Anteil der Berechnung in der ersten Schicht liegt, kann das Gesamtverhältnis laut Autor zwischen 1:1 und 3:1 variieren. Als typischen Fall nennt er etwa 2:1 für tiefe Netze mit großen Batches.
Profiler-Messungen an linearen Netzen, CNNs und weiteren Varianten werden als Bestätigung dieser Einschätzung angeführt. Größere Batches verringern demnach bei linearen Netzen den relativen Einfluss der Gewichtsaktualisierung; bei CNNs ist dieser Aufwand laut Bericht ohnehin gering. Mit zunehmender Tiefe nähert sich das Verhältnis bei den untersuchten CNNs 2:1. Die Aussagekraft ist begrenzt, weil der Profiler Operationen über- oder unterzählen kann und ein Restfehler nicht ausgeschlossen wird. Andere Optimierer können ebenfalls andere FLOP-Zahlen ergeben.
Ausführlich lesen
Der Bericht von Marius Hobbhahn untersucht, wie viele Gleitkommaoperationen (FLOP) ein neuronales Netz beim Rückwärtslauf im Verhältnis zum Vorwärtslauf benötigt. Dieses Verhältnis soll helfen, den gesamten Rechenaufwand des Trainings aus dem Vorwärtsaufwand abzuschätzen. Der Autor leitet es zunächst theoretisch her und vergleicht die Erwartungen anschließend mit Messungen eines NVIDIA-Profilers.
Für lineare Schichten mit ReLU-Aktivierungen ergibt die Rechnung: Bei der ersten Schicht sind Vorwärts- und Rückwärtsaufwand ungefähr gleich groß, bei den übrigen Schichten ist der Rückwärtsaufwand etwa doppelt so groß. ReLU- und Verlustberechnungen seien gegenüber den Schichtoperationen meist vernachlässigbar. Hinzu kommt das Aktualisieren der Gewichte. Der Bericht zählt diesen Schritt zum Rückwärtslauf und nimmt für die Grundrechnung stochastischen Gradientenabstieg an.
Aus diesen Bestandteilen folgert der Autor, dass das Verhältnis je nach Netz und Trainingsbedingungen zwischen 1:1 und 3:1 liegen kann. Entscheidend sei, welcher Anteil der Rechenarbeit in der ersten Schicht stattfindet und wie stark die Gewichtsaktualisierung ins Gewicht fällt. Bei großen Batches bleibt deren Rechenaufwand laut Bericht ungefähr gleich, während die übrigen Operationen mit der Batchgröße zunehmen. Bei Faltungen sei der Aufwand der Schichten im Verhältnis zur Zahl der Parameter so hoch, dass die Gewichtsaktualisierung wenig ausmache. Bei kleinen Batches und ohne rechenintensive Faltungsschichten könne sie stärker ins Gewicht fallen. Der Bericht beschreibt daher etwa 2:1 als typischen Wert für tiefe Netze mit großen Batches.
Die empirische Untersuchung vergleicht unter anderem ein lineares Netz, ein kleines CNN, ein eigens konstruiertes Netz mit vergleichsweise wenig Aufwand in der ersten Schicht sowie Varianten mit unterschiedlichen Batchgrößen und Tiefen. Die Messungen werden als Bestätigung der theoretischen Überlegungen dargestellt: Die erste Schicht liegt ungefähr bei 1:1, andere Schichten bei 2:1; mit wachsender Tiefe nähert sich das Gesamtverhältnis bei den untersuchten CNNs typischerweise 2:1. Das speziell konstruierte Netz zeigt laut Bericht auch einen Wert nahe 3:1. Bei linearen Netzen verändert eine größere Batchgröße das Verhältnis, weil die Gewichtsaktualisierung relativ weniger zählt; beim CNN sei dieser Effekt kaum sichtbar.
Die Ergebnisse sind mit Einschränkungen zu lesen. Der verwendete Profiler könne bestimmte Operationen unter- oder überzählen. Die Autoren berichten, solche Fehler teilweise korrigiert zu haben, können aber einen verbleibenden Messfehler nicht ausschließen. Außerdem können andere Optimierer abweichende Rechenaufwände verursachen; für Momentum oder Adam erwartet der Bericht im klassischen Fall dennoch weiterhin ungefähr 2:1. Die Anhänge sind im bereitgestellten Text nur mit Überschriften aufgeführt; ihr Inhalt liegt hier nicht vor.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassungen werden als eine Bewertung behandelt, weil keine einzelne markiert ist. Die Anteilswerte in Lunas Einordnung (57 % und 53 %) sind im Schema nicht vorgesehen und wurden deshalb nicht übernommen. Die Frage SF-P4 wurde auf Stufe 3 eingeordnet, weil der Bericht nur einen Schätzweg nennt, und SF-V5 wurde auf Stufe 0 gesetzt, weil der Bericht keinen Bezug zu diesem Thema hat.
Im Bericht, aber nicht in der Zusammenfassung
- Die Annahme, dass Gewichte per stochastischem Gradientenabstieg aktualisiert werden und das Update zum Rückwärtslauf zählt
- Der Befund, dass die Tiefe nur indirekt wirkt, weil es auf den Anteil der ersten Schicht ankommt
- Der Fall kleiner Batches ohne rechenintensive Faltungsschichten, in dem das Verhältnis bis 3:1 steigen kann
- Die Versuchsbefunde zu LinearNet (Konvergenz gegen 1:1) und OneNet (Konvergenz gegen 2:1)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 57 %Hintergrund, keine Belege
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 22 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 28 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug