Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch28. Mai 2025 · Q006380

Widespread adoption of new numeric formats took 3-4 years in past cycles

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Laut Epoch AI benötigten FP16 und BF16 etwa drei bis vier Jahre, um sich beim Modelltraining weit zu verbreiten; passende Hardware war eine Voraussetzung. Die Auswertung beruht auf automatisch gesammelten Modellangaben und einer LLM-Zuordnung. Bei Fortsetzung des bisherigen Musters könnte FP8 um 2028 zum Standard werden, während 4-Bit-Training wegen Stabilitätsproblemen unsicher bleibt.

Mittel

Epoch AI untersucht, wie schnell sich neue Zahlenformate beim Training von KI-Modellen verbreitet haben. Dem Bericht zufolge gewannen FP16 und BF16 in ihren ersten zwei Jahren an Boden, erreichten nach etwa drei Jahren 50 Prozent Nutzung und wurden innerhalb von fünf Jahren zum Standard. Vorteile bei Rechenleistung und Trainingsstabilität begünstigten den Wechsel, der aber passende Hardware voraussetzte.

Die Daten entstehen durch automatisches Sammeln von Text und Code aus Modell-Repositorien und technischen Berichten. Eine zweistufige LLM-Auswertung ordnet jedem Modell ein Präzisionsformat zu und soll Belege liefern. Die angefügte Jahrestabelle reicht von 2008 bis 2025; sie zeigt viele BF16- und FP16-Einträge 2023/24 und erste FP8-Einträge ab 2023.

Da BF16 laut Bericht am Ende seines etwa vierjährigen Zyklus steht und FP8 aufkommt, könnte FP8 bei ähnlichem Verlauf um 2028 zum Standard werden. Das ist eine bedingte Prognose. 4-Bit-Training wird als mögliche spätere Entwicklung genannt, wobei Stabilität bei dieser Präzision eine offene Herausforderung bleibt. Im bereitgestellten Text fehlen ausführliche Angaben zur Stichprobe und zur Definition von „breiter Nutzung“.

Ausführlich lesen

Der Bericht von Epoch AI untersucht, wie lange neue Zahlenformate brauchen, um sich beim Training von KI-Modellen weit zu verbreiten. Seine zentrale Aussage lautet: In früheren Umstellungen dauerte es etwa drei bis vier Jahre bis zu einer breiten Nutzung. FP16 und BF16 gewannen jeweils in den ersten zwei Jahren an Bedeutung, erreichten nach ungefähr drei Jahren einen Anteil von 50 Prozent und wurden innerhalb von fünf Jahren zum Standard. Der Wechsel brachte laut Bericht Vorteile bei Rechenleistung und Trainingsstabilität; seine Verbreitung hing jedoch davon ab, ob passende Hardware verfügbar war.

Aus diesen früheren Zyklen leitet der Bericht eine vorsichtige Prognose ab: BF16 befinde sich am späteren Ende seines vierjährigen Verbreitungszyklus, während FP8-Training gerade aufkomme. Falls sich die früheren Muster wiederholen, könnte FP8 etwa 2028 zum Standard werden. Als nächste mögliche Entwicklung nennt der Bericht Training mit 4-Bit-Genauigkeit. Ob es sich durchsetzt, sei offen, denn die Trainingsstabilität bei so niedriger Präzision bleibe eine Herausforderung.

Für die historische Auswertung erfasst Epoch AI Angaben zur ursprünglichen Trainingspräzision von KI-Modellen. Dazu werden passende Textstellen und Code aus den GitHub-Repositorien und technischen Berichten der Modelle automatisiert gesammelt. Eine zweistufige LLM-Analyse ordnet jedem Modell anschließend ein Präzisionsformat zu und soll dafür Belege und Quellen angeben. Diese Zuordnungen bilden die Datengrundlage für die dargestellten Verläufe. Die beigefügte Tabelle zeigt jährliche Einträge für BF16, FP16, FP32, FP8 und TF32 von 2008 bis 2025. Sie weist unter anderem für 2023 und 2024 viele BF16- und FP16-Einträge aus; für FP8 erscheinen einzelne Einträge ab 2023. Der Bericht nennt den Code zur Analyse, beschreibt aber im vorliegenden Text keine ausführlichen Prüfungen oder Unsicherheitsmaße.

Die Aussagen über vergangene Einführungszeiten beziehen sich auf die untersuchten Modelle und die gewählte Datenerhebung. Der Bericht legt hier weder die vollständige Stichprobe noch genaue Definitionen von „breiter Nutzung“ oder „Standard“ dar. Die Prognose für FP8 ist ausdrücklich an die Bedingung geknüpft, dass sich frühere Muster fortsetzen; sie ist kein gesichertes Ergebnis. Auch eine künftige Verbreitung von 4-Bit-Training wird nur als Möglichkeit skizziert. Der bereitgestellte Bericht enthält außerdem Website- und Cookie-Hinweise, die für die inhaltlichen Aussagen keine Rolle spielen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Kurzfassung ist kürzer als die mittlere und verkürzt die Aussagen ohne Fehler. Die mittlere Fassung enthält eine ungenaue Angabe zu FP16-Einträgen 2023/24. Die Einordnung von SF-V5 als Stufe 3 mit 61 % ist nicht gedeckt, da der Bericht die Frage nicht beantwortet.

Im Bericht, aber nicht in der Zusammenfassung

  • Die 50-Prozent-Marke nach etwa drei Jahren wird in der Kurzfassung nicht genannt
  • Der Hinweis, dass die Analyse die Trainingspräzision der ursprünglichen Modelle erfasst
  • Die Verfügbarkeit des Analysecodes

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Angabe, FP16 zeige 2023/24 viele Einträge (2024 steht nur ein Eintrag in der Tabelle)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 35 %Hintergrund, keine Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung Hintergrund, keine Belege
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →