Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com24. April 2019 · Q011122

BERT Meets GPUs

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der vollständige Bericht schildert NVIDIAs Optimierung von BERT-large: Mit Mixed Precision und XLA habe sich das Vortraining auf Volta-GPUs in einem Versuch von 6,8 auf 3,3 Tage verkürzt, bei laut NVIDIA vergleichbarer Genauigkeit. Die Autoren veröffentlichen Trainingsrezepte und nennen Messwerte für SQuAD-Feinabstimmung und Inferenz; diese Ergebnisse gelten für die beschriebenen Daten, Software- und Hardwarebedingungen.

Mittel

Der vollständige NVIDIA-Bericht beschreibt Optimierungen, mit denen BERT-large auf Volta-GPUs schneller trainiert werden soll. BERT wird zunächst mit nicht annotierten Texten vortrainiert und anschließend für bestimmte NLP-Aufgaben feinabgestimmt. NVIDIA nutzte englische Wikipedia und BooksCorpus und stellt Skripte zur Datenaufbereitung bereit. Laut den Autoren beeinflusst die Wahl der Trainingsdaten die spätere Genauigkeit; domänenspezifische Texte könnten sie verbessern.

In einem Versuch mit vier Beispielen pro GPU dauerte das Vortraining ohne gemischte Genauigkeit etwa 6,8 Tage, mit Mixed Precision 4,5 Tage und mit zusätzlichem XLA-Compiler 3,3 Tage. NVIDIA beziffert die letzte Variante auf das 2,1-Fache der Geschwindigkeit von FP32. Die Autoren berichten, dass ihre Genauigkeitswerte denen der ursprünglichen BERT-Veröffentlichung entsprachen. Für SQuAD nennen sie etwa 143 Sätze pro Sekunde beim Feinabstimmen auf acht V100-GPUs und 119 Sätze pro Sekunde bei der Inferenz auf einer GPU. Skripte und Rezepte seien öffentlich verfügbar. Diese Angaben beziehen sich auf die beschriebenen Versuchsbedingungen und sind keine allgemeine Leistungsgarantie.

Ausführlich lesen

Der vollständige Bericht „BERT Meets GPUs“ von NVIDIA AI beschreibt, wie NVIDIA BERT für Volta-Grafikprozessoren und Tensor Cores optimiert hat. Er erläutert den Trainingsablauf, berichtet eigene Leistungsmessungen und verweist auf veröffentlichte Skripte und Rezepte, mit denen die beschriebenen Ergebnisse nachvollzogen werden sollen.

BERT wird als Sprachmodell dargestellt, das zunächst ohne annotierte Daten vortrainiert und anschließend für konkrete Aufgaben wie Fragebeantwortung, Satzklassifikation oder Sentimentanalyse feinabgestimmt wird. Laut Bericht hilft der bidirektionale Kontext der Transformer-Encoder dabei, Sprache zu erfassen. Für das Vortraining nutzte NVIDIA den vollständigen englischen Wikipedia-Datensatz und BooksCorpus. Die Autoren betonen, dass die Vorbereitung des Korpus die spätere Vorhersagegenauigkeit beeinflussen kann. Ihre automatisierten Skripte laden Daten herunter, extrahieren und formatieren sie und bereiten sie als TFRecords auf. Weitere, stärker auf eine Zielaufgabe zugeschnittene Daten könnten die Genauigkeit verbessern. Als Beispiel wird angeführt, dass Vortraining mit biomedizinischen Texten die Genauigkeit bei Fragebeantwortung um nahezu zehn Prozent steigern könne.

Der Bericht vergleicht Training mit einfacher Genauigkeit (FP32) und gemischter Genauigkeit. Dabei werden viele Operationen mit halber Genauigkeit ausgeführt, sodass Volta- und Turing-Tensor-Cores genutzt werden können. NVIDIA berichtet von bis zu dreifachem Geschwindigkeitsgewinn durch Mixed Precision und einem zusätzlichen Vorteil durch den XLA-JIT-Compiler. In einem BERT-large-Versuch mit einer Batchgröße von vier pro GPU dauerte das Training den Angaben zufolge ohne Mixed Precision etwa 6,8 Tage, mit automatischer Mixed Precision rund 4,5 Tage und mit zusätzlich aktiviertem XLA etwa 3,3 Tage. Das entspricht laut Autoren einer Beschleunigung um das 2,1-Fache gegenüber FP32. Die dargestellten Verlustkurven verliefen dabei ähnlich. Mit einer Batchgröße von acht pro GPU sei eine Beschleunigung von ungefähr dem Dreifachen möglich; der Bericht nennt dies als Potenzial, nicht als Ergebnis desselben Versuchs. Als Gesamtwert für das Vortraining gibt die Einleitung 3,3 Tage auf vier DGX-2H-Knoten mit zusammen 64 Volta-GPUs an.

Für ihre Genauigkeitsmessungen erklären die Autoren, dass ihre Pipeline aus Datenaufbereitung, Vortraining, Feinabstimmung und Inferenz die Genauigkeit der ursprünglichen Veröffentlichung reproduziert habe. Genannt werden TensorFlow 1.13.1, ein NGC-Container von März 2019 und aktiviertes XLA. Bei der SQuAD-Feinabstimmung berichtet NVIDIA eine Spitzenrate von etwa 143 Sätzen pro Sekunde auf einem DGX-1 mit acht V100-GPUs und einer globalen Batchgröße von 160 Sequenzen. Für die Inferenz auf einer einzelnen V100-GPU werden 119 Sätze pro Sekunde angegeben.

Die Autoren stellen ihre TensorFlow-Skripte und Trainingsrezepte auf GitHub bereit und verweisen außerdem auf NVIDIA-Projekte für PyTorch und MXNet. Die Zahlen und Genauigkeitsaussagen sind Ergebnisse beziehungsweise Behauptungen der Autoren unter den beschriebenen Hardware- und Softwarebedingungen. Der Bericht belegt damit keine allgemeine Leistung für andere Systeme, Daten oder Aufgaben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassung wurde für beide Fassungen geprüft; die mittlere Fassung ist inhaltlich korrekt, die Kurzfassung ebenfalls, beide lassen jedoch die Hardware-Angabe und weitere Details aus. Bei der Einordnung hat Luna die Sammelfragen SF-P4 und SF-H2 zu hoch bewertet, weil der Bericht zu Verantwortung und Nachweisen nichts sagt. Die Anteilswerte aus Lunas Einordnung wurden nicht übernommen, da sie im Bericht keine Grundlage haben.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Kernaussage, dass BERT-large auf vier DGX-2H-Knoten mit insgesamt 64 Volta-GPUs in 3,3 Tagen vortrainiert werden kann, fehlt in der Kurzfassung ganz und in der mittleren Fassung ohne Hardware-Kontext.
  • Mixed Precision wird im Bericht mit bis zu 3x Beschleunigung beschrieben; das fehlt in beiden Fassungen.
  • Die Vermutung, dass eine größere Batch-Größe (8 pro GPU) etwa 3x Beschleunigung bringt, fehlt in beiden Fassungen.
  • Megatron-LM (PyTorch) und die BERT-Implementierung in GluonNLP (MXNet) als weitere Veröffentlichungen fehlen.
  • Die Quellenbasis der Vorab-Daten ist in der Kurzfassung nicht genannt (englisches Wikipedia und BooksCorpus fehlen).

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 52 %einzelne zitierbare Belege
    • JEV 30 %gleiches Oberthema, hilft nicht
    • amos 25 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 52 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 64 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 27 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 31 %einzelne zitierbare Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung einzelne zitierbare Belege
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 32 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →