Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch9. November 2023 · Q009549

Trends in machine learning hardware

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht kommt zu dem Ergebnis, dass ML-Rechenleistung schneller wächst als Speicher und Speicherbandbreite, während spezialisierte Tensor-Hardware und niedrigere Präzision die Spitzenleistung für geeignete Aufgaben stark erhöhen können. Da die Analyse Hersteller-Spitzenwerte, begrenzte Datensätze und Näherungen wie TDP verwendet, lassen sich die Kennzahlen nicht ohne Weiteres auf die tatsächliche Leistung und Effizienz jeder Anwendung übertragen.

Mittel

Epoch AI analysiert Hardwaretrends anhand von Herstellerangaben zu 47 ML-Beschleunigern aus den Jahren 2010 bis 2023 sowie 1.948 allgemeinen GPUs aus den Jahren 2006 bis 2021. Die FP32-Spitzenrechenleistung verdoppelt sich der Auswertung zufolge etwa alle 2,3 Jahre. Tensor-Einheiten und niedrigere Präzision können die Spitzenleistung gegenüber FP32 stark steigern: im Mittel etwa achtfach bei Tensor-FP16 und 13-fach bei INT8. Solche Werte hängen auch von der Hardware ab und gelten nicht für jede Aufgabe; geringere Präzision kann die Modellgenauigkeit beeinträchtigen.

Speicherkapazität und -bandbreite wachsen bei ML-Beschleunigern langsamer, mit Verdopplungszeiten von ungefähr vier Jahren. Dadurch können Datenzufuhr und Speicher die Auslastung der Recheneinheiten begrenzen. Für große verteilte Modelle sind außerdem schnelle Chipverbindungen wichtig: Der Bericht nennt für H100-NVLink 900 GB/s, etwa das Siebenfache einer einzelnen PCIe-5.0-Verbindung mit 16 Lanes. FP32-Leistung pro Dollar verdoppelt sich laut Schätzung bei ML-GPUs etwa alle 2,1 Jahre, Leistung pro Watt etwa alle drei Jahre.

Die Ergebnisse beruhen auf Spitzenwerten, die reale Anwendungen nicht zwingend erreichen. Preisvergleiche in FP32 können ML-spezifische Vorteile übersehen; TDP ist nur eine Näherung des Energieverbrauchs. Begrenzte Beobachtungszahlen und fehlende Daten schränken einzelne Schätzungen zusätzlich ein.

Ausführlich lesen

Der Bericht von Epoch AI untersucht, wie sich die Leistungsfähigkeit von Hardware für maschinelles Lernen (ML) entwickelt hat und welche Faktoren neben der Rechenleistung die praktische Nutzung großer Modelle beeinflussen. Grundlage sind Herstellerangaben zu Spitzenwerten: eine kuratierte Sammlung von 47 häufig für ML eingesetzten Beschleunigern aus den Jahren 2010 bis 2023 sowie ein Datensatz mit 1.948 überwiegend allgemein genutzten GPUs aus den Jahren 2006 bis 2021. Die Autorinnen und Autoren vergleichen Rechenleistung für verschiedene Zahlenformate, Speicher, Verbindungen zwischen Chips, Preis-Leistung und Energieeffizienz.

Nach ihrer Auswertung verdoppelt sich die FP32-Spitzenrechenleistung sowohl bei ML- als auch bei allgemeinen GPUs etwa alle 2,3 Jahre. Spezialisierte Einheiten wie Tensor Cores und Formate mit geringerer Präzision können die Spitzenleistung für bestimmte Rechenarten deutlich erhöhen. Im Durchschnitt geben die Autorinnen und Autoren gegenüber FP32 etwa den fünffachen Wert für Tensor-FP32/TF32, den achtfachen für Tensor-FP16, den 13-fachen für Tensor-INT8 und den 18-fachen für Tensor-INT4 an. Für die H100 nennen sie noch höhere Verhältnisse: etwa das 15-Fache bei Tensor-FP16 und das 30-Fache bei INT8 gegenüber FP32. Diese Werte beschreiben Spitzenleistung; geringere Genauigkeit ist nicht für jede Aufgabe geeignet und kann Zielkonflikte mit der Modellgenauigkeit verursachen. Der Bericht bezeichnet die Schätzung für den durchschnittlichen FP16-Vorteil ausdrücklich als spekulativ und weist darauf hin, dass die Unterschiede nicht allein aus der Bitbreite folgen, sondern auch aus speziell angepasster Hardware.

Speicherkapazität und Speicherbandbreite wachsen laut Analyse langsamer als die Rechenleistung: Bei ML-Beschleunigern verdoppeln sie sich ungefähr alle vier Jahre, gegenüber etwa 2,3 Jahren bei der Rechenleistung. Die Autorinnen und Autoren deuten diese Lücke als „Memory Wall“: Recheneinheiten können nicht voll ausgelastet werden, wenn Daten nicht schnell genug bereitstehen. Bei größeren Modellen müssen Arbeit und Daten deshalb oft auf mehrere Beschleuniger verteilt werden. Dafür wird auch die Verbindung zwischen Chips wichtig. Dedizierte Technologien wie Nvidias NVLink und Googles ICI bieten den Angaben zufolge mehr Bandbreite als PCIe; für eine H100 werden 900 GB/s über NVLink genannt, etwa das Siebenfache einer einzelnen PCIe-5.0-Verbindung mit 16 Lanes.

Weitere Kennzahlen entwickeln sich ebenfalls unterschiedlich: Die FP32-Leistung pro Dollar verdoppelt sich bei ML-GPUs nach Schätzung etwa alle 2,1 Jahre, die FP32-Leistung pro Watt etwa alle drei Jahre. Die Autorinnen und Autoren warnen jedoch, dass FP32-Preisvergleiche spezialisierte ML-Hardware benachteiligen können, weil sie Vorteile niedrigerer Präzision und andere für Cluster wichtige Eigenschaften ausblenden. Ihre Preisberechnungen beruhen teils auf inflationsbereinigten Verkaufspreisen, teils auf Cloudpreisen mit Annahmen zur Amortisation und Anbieter-Marge.

Die Untersuchung hat klare Grenzen: Sie vergleicht Herstellerangaben zu Spitzenwerten, die in realen Anwendungen meist nicht vollständig erreicht werden; Auslastung hängt unter anderem von Aufgabe, Speicher und Parallelisierung ab. Die Datensätze sind begrenzt, und für einige Formate reichen die Beobachtungen nicht für verlässliche Wachstumsschätzungen. Energieeffizienz wird anhand der thermischen Verlustleistung (TDP) angenähert, die weder den tatsächlichen Durchschnittsverbrauch noch einen exakten Vergleich abbildet. Auch fehlen bei manchen ergänzenden Kennzahlen Daten, darunter für viele TPUs. Insgesamt folgert der Bericht, dass Rechenleistung allein keine ausreichende Einschätzung großer ML-Systeme erlaubt: Zahlenformat, Speicher und Chipverbindungen müssen gemeinsam betrachtet werden.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna gibt den Bericht im Kern treu wieder; die fehlenden Punkte betreffen Nebenaussagen zur Preis-Leistung. Die Einordnung von Luna mit Stufe 3 für alle drei Sammelfragen ist zu hoch, weil der Bericht keine Governance-Inhalte enthält. Teilfragen wurden nicht angegeben.

Im Bericht, aber nicht in der Zusammenfassung

  • ML-Hardware hatte historisch eine geringere absolute Preis-Leistung als allgemeine GPUs
  • Beim FP32-Preisvergleich wirkt die RX 7900 XTX besser, bei INT4 ist die RTX 4090 etwa zehnmal besser

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 68 %Hintergrund, keine Belege
    • JEV 31 %gleiches Oberthema, hilft nicht
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 67 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 42 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 38 %Hintergrund, keine Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 45 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 39 %Hintergrund, keine Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
  1. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 31 %Hintergrund, keine Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
    • clef 100 %kein Bezug
    • Luna 72 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Frieden und Sicherheit
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 59 %Hintergrund, keine Belege
    • JEV 35 %Hintergrund, keine Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →