BERT Meets GPUs
Zusammenfassung
Kurz
Der vollständige Bericht schildert NVIDIAs Optimierung von BERT-large: Mit Mixed Precision und XLA habe sich das Vortraining auf Volta-GPUs in einem Versuch von 6,8 auf 3,3 Tage verkürzt, bei laut NVIDIA vergleichbarer Genauigkeit. Die Autoren veröffentlichen Trainingsrezepte und nennen Messwerte für SQuAD-Feinabstimmung und Inferenz; diese Ergebnisse gelten für die beschriebenen Daten, Software- und Hardwarebedingungen.
Mittel
Der vollständige NVIDIA-Bericht beschreibt Optimierungen, mit denen BERT-large auf Volta-GPUs schneller trainiert werden soll. BERT wird zunächst mit nicht annotierten Texten vortrainiert und anschließend für bestimmte NLP-Aufgaben feinabgestimmt. NVIDIA nutzte englische Wikipedia und BooksCorpus und stellt Skripte zur Datenaufbereitung bereit. Laut den Autoren beeinflusst die Wahl der Trainingsdaten die spätere Genauigkeit; domänenspezifische Texte könnten sie verbessern.
In einem Versuch mit vier Beispielen pro GPU dauerte das Vortraining ohne gemischte Genauigkeit etwa 6,8 Tage, mit Mixed Precision 4,5 Tage und mit zusätzlichem XLA-Compiler 3,3 Tage. NVIDIA beziffert die letzte Variante auf das 2,1-Fache der Geschwindigkeit von FP32. Die Autoren berichten, dass ihre Genauigkeitswerte denen der ursprünglichen BERT-Veröffentlichung entsprachen. Für SQuAD nennen sie etwa 143 Sätze pro Sekunde beim Feinabstimmen auf acht V100-GPUs und 119 Sätze pro Sekunde bei der Inferenz auf einer GPU. Skripte und Rezepte seien öffentlich verfügbar. Diese Angaben beziehen sich auf die beschriebenen Versuchsbedingungen und sind keine allgemeine Leistungsgarantie.
Ausführlich lesen
Der vollständige Bericht „BERT Meets GPUs“ von NVIDIA AI beschreibt, wie NVIDIA BERT für Volta-Grafikprozessoren und Tensor Cores optimiert hat. Er erläutert den Trainingsablauf, berichtet eigene Leistungsmessungen und verweist auf veröffentlichte Skripte und Rezepte, mit denen die beschriebenen Ergebnisse nachvollzogen werden sollen.
BERT wird als Sprachmodell dargestellt, das zunächst ohne annotierte Daten vortrainiert und anschließend für konkrete Aufgaben wie Fragebeantwortung, Satzklassifikation oder Sentimentanalyse feinabgestimmt wird. Laut Bericht hilft der bidirektionale Kontext der Transformer-Encoder dabei, Sprache zu erfassen. Für das Vortraining nutzte NVIDIA den vollständigen englischen Wikipedia-Datensatz und BooksCorpus. Die Autoren betonen, dass die Vorbereitung des Korpus die spätere Vorhersagegenauigkeit beeinflussen kann. Ihre automatisierten Skripte laden Daten herunter, extrahieren und formatieren sie und bereiten sie als TFRecords auf. Weitere, stärker auf eine Zielaufgabe zugeschnittene Daten könnten die Genauigkeit verbessern. Als Beispiel wird angeführt, dass Vortraining mit biomedizinischen Texten die Genauigkeit bei Fragebeantwortung um nahezu zehn Prozent steigern könne.
Der Bericht vergleicht Training mit einfacher Genauigkeit (FP32) und gemischter Genauigkeit. Dabei werden viele Operationen mit halber Genauigkeit ausgeführt, sodass Volta- und Turing-Tensor-Cores genutzt werden können. NVIDIA berichtet von bis zu dreifachem Geschwindigkeitsgewinn durch Mixed Precision und einem zusätzlichen Vorteil durch den XLA-JIT-Compiler. In einem BERT-large-Versuch mit einer Batchgröße von vier pro GPU dauerte das Training den Angaben zufolge ohne Mixed Precision etwa 6,8 Tage, mit automatischer Mixed Precision rund 4,5 Tage und mit zusätzlich aktiviertem XLA etwa 3,3 Tage. Das entspricht laut Autoren einer Beschleunigung um das 2,1-Fache gegenüber FP32. Die dargestellten Verlustkurven verliefen dabei ähnlich. Mit einer Batchgröße von acht pro GPU sei eine Beschleunigung von ungefähr dem Dreifachen möglich; der Bericht nennt dies als Potenzial, nicht als Ergebnis desselben Versuchs. Als Gesamtwert für das Vortraining gibt die Einleitung 3,3 Tage auf vier DGX-2H-Knoten mit zusammen 64 Volta-GPUs an.
Für ihre Genauigkeitsmessungen erklären die Autoren, dass ihre Pipeline aus Datenaufbereitung, Vortraining, Feinabstimmung und Inferenz die Genauigkeit der ursprünglichen Veröffentlichung reproduziert habe. Genannt werden TensorFlow 1.13.1, ein NGC-Container von März 2019 und aktiviertes XLA. Bei der SQuAD-Feinabstimmung berichtet NVIDIA eine Spitzenrate von etwa 143 Sätzen pro Sekunde auf einem DGX-1 mit acht V100-GPUs und einer globalen Batchgröße von 160 Sequenzen. Für die Inferenz auf einer einzelnen V100-GPU werden 119 Sätze pro Sekunde angegeben.
Die Autoren stellen ihre TensorFlow-Skripte und Trainingsrezepte auf GitHub bereit und verweisen außerdem auf NVIDIA-Projekte für PyTorch und MXNet. Die Zahlen und Genauigkeitsaussagen sind Ergebnisse beziehungsweise Behauptungen der Autoren unter den beschriebenen Hardware- und Softwarebedingungen. Der Bericht belegt damit keine allgemeine Leistung für andere Systeme, Daten oder Aufgaben.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassung wurde für beide Fassungen geprüft; die mittlere Fassung ist inhaltlich korrekt, die Kurzfassung ebenfalls, beide lassen jedoch die Hardware-Angabe und weitere Details aus. Bei der Einordnung hat Luna die Sammelfragen SF-P4 und SF-H2 zu hoch bewertet, weil der Bericht zu Verantwortung und Nachweisen nichts sagt. Die Anteilswerte aus Lunas Einordnung wurden nicht übernommen, da sie im Bericht keine Grundlage haben.
Im Bericht, aber nicht in der Zusammenfassung
- Die Kernaussage, dass BERT-large auf vier DGX-2H-Knoten mit insgesamt 64 Volta-GPUs in 3,3 Tagen vortrainiert werden kann, fehlt in der Kurzfassung ganz und in der mittleren Fassung ohne Hardware-Kontext.
- Mixed Precision wird im Bericht mit bis zu 3x Beschleunigung beschrieben; das fehlt in beiden Fassungen.
- Die Vermutung, dass eine größere Batch-Größe (8 pro GPU) etwa 3x Beschleunigung bringt, fehlt in beiden Fassungen.
- Megatron-LM (PyTorch) und die BERT-Implementierung in GluonNLP (MXNet) als weitere Veröffentlichungen fehlen.
- Die Quellenbasis der Vorab-Daten ist in der Kurzfassung nicht genannt (englisches Wikipedia und BooksCorpus fehlen).
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 52 %einzelne zitierbare Belege
- JEV 30 %gleiches Oberthema, hilft nicht
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät?
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 27 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 31 %einzelne zitierbare Belege
- JEV 36 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung einzelne zitierbare Belege
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 39 %einzelne zitierbare Belege
- amos 32 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 52 %Hintergrund, keine Belege
- JEV 50 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv