Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch23. Oktober 2024 · Q006157

Performance improves 13x when switching from FP32 to tensor-INT8

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI zufolge steigt die aggregierte Hardwareleistung gegenüber nicht tensorbasiertem FP32 im Mittel etwa um den Faktor 6 mit TF32, 11 mit Tensor-FP16/BF16 und 13 mit INT8; beim H100 nennt der Bericht für INT8 sogar den Faktor 59. Die Werte beruhen auf geschätzten Format-Trends und variieren zwischen Chips; die Vergleiche decken typischerweise erst den Zeitraum ab etwa 2016 ab und sagen nicht unmittelbar die Beschleunigung konkreter Anwendungen voraus.

Mittel

Epoch AI berichtet, dass Tensor-Kerne und kompakte KI-Zahlenformate die aggregierte Rechenleistung gegenüber nicht tensorbasiertem FP32 deutlich erhöhen. Im Durchschnitt beziffert der Bericht den Vorteil auf etwa das Sechsfache für TF32, das Elffache für Tensor-FP16/BF16 und das Dreizehnfache für INT8. Als Beispiel für einen besonders großen Einzelwert nennt er den H100, der bei INT8 59-mal schneller sei als bei FP32. Diese Werte sind Aussagen des Berichts und gelten nicht zwangsläufig für jeden Chip oder Arbeitsablauf.

Für die Analyse schätzt Epoch AI Leistungstrends je Zahlenformat und vergleicht sie mit dem FP32-Trend. Der Durchschnitt wird nur über den Zeitraum berechnet, für den die kürzere Datenreihe verfügbar ist, typischerweise ab etwa 2016. Die Darstellung führt die Verbesserungen durch Tensor-Kerne und kompakte Formate auf ungefähr die Hälfte der gesamten Leistungsentwicklung seit deren Einführung zurück. Außerdem seien niedrigere Genauigkeitsformate beim Modelltraining verbreitet, besonders Tensor-FP16.

Der Bericht betont starke Unterschiede zwischen einzelnen Chips. Er beschreibt aggregierte Hardware-Trends, enthält aber keine ausführliche Erläuterung konkreter Benchmark-Bedingungen oder der Beschleunigung bestimmter Modelle und Anwendungen.

Ausführlich lesen

Der Bericht von Epoch AI behandelt, wie Tensor-Kerne und für KI geeignete Zahlenformate die rechnerische Leistung von GPUs und anderen KI-Beschleunigern beeinflussen. Seine zentrale Aussage lautet: Bei vergleichbaren aggregierten Leistungstrends steigt die Leistung gegenüber nicht tensorbasiertem FP32 im Mittel deutlich, wenn andere Formate genutzt werden. Epoch AI gibt für TF32 etwa den sechsfachen, für Tensor-FP16 beziehungsweise BF16 etwa den elffachen und für INT8 etwa den dreizehnfachen Durchsatz an. Diese Faktoren beziehen sich auf die im Bericht verglichenen Formattrends und sind keine Zusage, dass jede Anwendung oder jeder Chip denselben Gewinn erzielt.

Als Beispiel für besonders große Abweichungen nennt der Bericht den H100, der bei INT8 laut Darstellung 59-mal schneller sei als bei FP32. Einzelne Beschleuniger können demnach erheblich stärker oder anders von den Formaten profitieren als der Durchschnitt. Der Bericht führt außerdem an, dass die Verbesserungen durch Tensor-Kerne und kompakte Formate ungefähr die Hälfte der gesamten Leistungsentwicklung seit deren Einführung ausmachten. Niedrigere Genauigkeitsformate beim Modelltraining seien verbreitet geworden; besonders Tensor-FP16 werde genutzt, um den beschriebenen Leistungsvorteil auszuschöpfen.

Die dargestellten Daten umfassen aggregierte Leistungstrends sowie Tabellen mit einzelnen Beschleunigern, ihren Herstellern, Leistungswerten in Operationen pro Sekunde und Veröffentlichungsdaten. Zur Auswertung schätzt Epoch AI zunächst Trends für die einzelnen Zahlenformate und vergleicht diese anschließend mit dem Trend für nicht tensorbasiertes FP32. Der Durchschnitt wird nur über den Zeitraum berechnet, in dem die kürzere der jeweiligen Datenreihen reicht; laut Bericht beginnt dieser Vergleich deshalb typischerweise ungefähr 2016.

Die Aussagekraft ist damit an den beschriebenen Vergleich und dessen Datenabdeckung gebunden. Der Text nennt ausdrücklich erhebliche Unterschiede zwischen Chips und erläutert, dass die Mittelwerte nur über den gemeinsamen Zeitraum der Datenreihen ermittelt werden. Er liefert in dem vorliegenden Inhalt keine ausführliche Beschreibung einzelner Benchmarks, Testbedingungen oder der Auswirkungen auf konkrete Modelle und Anwendungen. Die genannten Faktoren beschreiben daher aggregierte Hardware-Leistungstrends, nicht automatisch die tatsächliche Beschleunigung eines beliebigen KI-Workloads.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: ok

Lunas Zusammenfassungen (kurz und mittel) geben die Kernaussagen des Berichts zu Faktoren von 6, 11 und 13 sowie zum H100 mit 59 korrekt wieder und erfinden nichts. Bewertet wurde nur die angegebene Sammelfrage SF-V5, da keine Teilfragen aufgeführt sind. Die Stufe und der Anteil in Lunas Einordnung wurden nicht übernommen.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 65 %Hintergrund, keine Belege
    • JEV 46 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →