Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch1. August 2025 · Q006387

Training open-weight models is becoming more data intensive

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI zufolge ist das durchschnittliche Verhältnis von Trainingstokens zu aktiven Parametern bei untersuchten Open-Weight-Modellen von etwa 10 (2022) auf rund 300 (2025) gestiegen; die Einzelwerte variieren stark und manche Angaben sind geschätzt oder fehlen. Niedrigere Betriebskosten und die Ausführbarkeit auf lokaler Hardware werden als mögliche Motive genannt, doch geschlossene Modelle lassen sich mangels öffentlicher Daten nicht einordnen.

Mittel

Epoch AI berichtet, dass die durchschnittliche Zahl der Trainingstokens je aktivem Parameter bei untersuchten Open-Weight-Sprachmodellen von ungefähr 10 im Jahr 2022 auf rund 300 im Jahr 2025 gestiegen sei. Das entspreche einem jährlichen Anstieg um den Faktor 3,1. Neuere Modelle lägen teils etwa zwanzigmal über dem aus den Chinchilla-Skalierungsgesetzen von 2022 abgeleiteten optimalen Verhältnis. Chinchilla dient als Referenz, obwohl es keine offenen Gewichte hat.

Die Analyse teilt die geschätzte Gesamtzahl der Trainingstokens – Datensatzgröße mal Trainingsdurchläufe – durch die Zahl der pro Vorwärtsdurchlauf aktiven Parameter. Eine Tabelle dokumentiert Modelle von 2022 bis 2025, darunter dichte Architekturen und Mixture-of-Experts-Modelle. Die Einzelwerte streuen stark; der Durchschnittstrend gilt nicht für jedes Modell. Einige Angaben sind geschätzt, unklar oder nicht verfügbar.

Als mögliche Gründe nennt der Bericht niedrigere Inferenzkosten bei Modellen mit weniger Parametern sowie den Wunsch, offene Modelle auf lokaler Infrastruktur ausführbar zu halten. Das sind Erklärungsansätze, keine belegten Ursachen. Da öffentliche Angaben zu geschlossenen Modellen fehlen, kann die Analyse nicht feststellen, ob der Trend auch dort gilt.

Ausführlich lesen

Der Bericht untersucht, wie viele Trainings-Tokens pro aktivem Parameter bei bekannten Open-Weight-Sprachmodellen eingesetzt werden. Epoch AI zufolge ist dieses Verhältnis seit 2022 deutlich gestiegen: Im Mittel habe es 2022 bei ungefähr 10 Tokens je Parameter gelegen und bis 2025 etwa 300 erreicht. Der Bericht beziffert den Anstieg auf das 3,1-Fache pro Jahr. Neuere Modelle würden demnach teils mit rund zwanzigmal mehr Daten pro Parameter trainiert als das Verhältnis, das aus den Chinchilla-Skalierungsgesetzen von 2022 als optimal abgeleitet wurde. Chinchilla selbst ist ein Modell mit geschlossenen Gewichten und dient in der Analyse als Vergleichspunkt.

Als Maß berechnet die Analyse die Zahl der insgesamt verwendeten Trainingstokens – geschätzt aus Datensatzgröße multipliziert mit der Zahl der Trainingsdurchläufe – geteilt durch die Zahl der Parameter, die bei einem Vorwärtsdurchlauf aktiv sind. Die ergänzende Tabelle führt zahlreiche Modelle von 2022 bis 2025 auf und nennt, soweit verfügbar, Veröffentlichungsdatum, Parameterzahl, Tokenmengen, Architektur und weitere Angaben. Bei Modellen mit Mixture-of-Experts-Architektur wird zwischen Gesamtparametern und aktiven Parametern unterschieden. Der Bericht hält fest, dass deren Verhältnis von Tokens zu aktiven Parametern dem allgemeinen Trend zu entsprechen scheint.

Die Tabelle zeigt zugleich eine große Streuung zwischen einzelnen Modellen. So liegen die aufgeführten Werte nicht durchweg oberhalb des Chinchilla-Referenzwerts von 20 Tokens pro Parameter; einige Modelle weisen deutlich niedrigere, andere sehr hohe Verhältnisse auf. Die Kernaussage beschreibt daher einen zeitlichen Durchschnittstrend und keine Regel, die für jedes Modell gilt. Bei einzelnen Datensätzen oder Trainingsangaben enthält die Tabelle zudem Schätzungen, Annahmen oder Hinweise auf Unklarheiten; manche Werte fehlen ganz. Die präzisen Einzelvergleiche sind entsprechend von der Verfügbarkeit und Auslegung der veröffentlichten Angaben abhängig.

Epoch AI nennt wirtschaftliche Anreize als mögliche Erklärung: Ein Modell mit mehr Trainingsdaten je Parameter könnte eine vergleichbare Leistung mit weniger Parametern erreichen und dadurch im Betrieb günstiger sein. Entwickler offener Gewichte könnten außerdem Daten stärker skalieren, um Modelle zu schaffen, die Nutzer auf eigener Infrastruktur ausführen können. Der Bericht präsentiert dies als mögliche Gründe, nicht als nachgewiesene Ursachen.

Die Untersuchung beschränkt sich auf Open-Weight-Modelle, weil für sie eher öffentliche Informationen zu Trainingstokens und Parameterzahlen vorliegen. Ob der Trend auch für geschlossene Modelle gilt, lässt sich laut Bericht mangels öffentlicher Daten nicht abschätzen. Die Analyse beansprucht damit keine vollständige Übersicht über alle aktuellen Spitzenmodelle. Der Bericht verweist außerdem auf verfügbaren Analysecode.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die kurze und die mittlere Zusammenfassung wurden gemeinsam bewertet; die kurze Fassung lässt den Wachstumsfaktor und den Chinchilla-Vergleich aus. Die Einordnungen beziehen sich nur auf den Berichtsinhalt.

Im Bericht, aber nicht in der Zusammenfassung

  • Wachstumsfaktor von 3,1 pro Jahr seit 2022 (fehlt in der kurzen Fassung)
  • Neuere Modelle liegen etwa 20-mal über dem Chinchilla-Verhältnis (fehlt in der kurzen Fassung)
  • Mixture-of-Experts-Modelle verhalten sich laut Bericht ähnlich wie dichte Modelle

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 65 %Hintergrund, keine Belege
    • JEV 28 %gleiches Oberthema, hilft nicht
    • amos 31 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 24 %gleiches Oberthema, hilft nicht
    • d3-ultra 39 %Hintergrund, keine Belege
    • Haiku-Prüfung Hintergrund, keine Belege

Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 54 %Hintergrund, keine Belege
    • JEV 36 %Hintergrund, keine Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 45 %einzelne zitierbare Belege
    • JEV 27 %gleiches Oberthema, hilft nicht
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 60 %einzelne zitierbare Belege
    • JEV 30 %umfangreiche Belege
    • amos 27 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 46 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 51 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →