Training open-weight models is becoming more data intensive
Zusammenfassung
Kurz
Epoch AI zufolge ist das durchschnittliche Verhältnis von Trainingstokens zu aktiven Parametern bei untersuchten Open-Weight-Modellen von etwa 10 (2022) auf rund 300 (2025) gestiegen; die Einzelwerte variieren stark und manche Angaben sind geschätzt oder fehlen. Niedrigere Betriebskosten und die Ausführbarkeit auf lokaler Hardware werden als mögliche Motive genannt, doch geschlossene Modelle lassen sich mangels öffentlicher Daten nicht einordnen.
Mittel
Epoch AI berichtet, dass die durchschnittliche Zahl der Trainingstokens je aktivem Parameter bei untersuchten Open-Weight-Sprachmodellen von ungefähr 10 im Jahr 2022 auf rund 300 im Jahr 2025 gestiegen sei. Das entspreche einem jährlichen Anstieg um den Faktor 3,1. Neuere Modelle lägen teils etwa zwanzigmal über dem aus den Chinchilla-Skalierungsgesetzen von 2022 abgeleiteten optimalen Verhältnis. Chinchilla dient als Referenz, obwohl es keine offenen Gewichte hat.
Die Analyse teilt die geschätzte Gesamtzahl der Trainingstokens – Datensatzgröße mal Trainingsdurchläufe – durch die Zahl der pro Vorwärtsdurchlauf aktiven Parameter. Eine Tabelle dokumentiert Modelle von 2022 bis 2025, darunter dichte Architekturen und Mixture-of-Experts-Modelle. Die Einzelwerte streuen stark; der Durchschnittstrend gilt nicht für jedes Modell. Einige Angaben sind geschätzt, unklar oder nicht verfügbar.
Als mögliche Gründe nennt der Bericht niedrigere Inferenzkosten bei Modellen mit weniger Parametern sowie den Wunsch, offene Modelle auf lokaler Infrastruktur ausführbar zu halten. Das sind Erklärungsansätze, keine belegten Ursachen. Da öffentliche Angaben zu geschlossenen Modellen fehlen, kann die Analyse nicht feststellen, ob der Trend auch dort gilt.
Ausführlich lesen
Der Bericht untersucht, wie viele Trainings-Tokens pro aktivem Parameter bei bekannten Open-Weight-Sprachmodellen eingesetzt werden. Epoch AI zufolge ist dieses Verhältnis seit 2022 deutlich gestiegen: Im Mittel habe es 2022 bei ungefähr 10 Tokens je Parameter gelegen und bis 2025 etwa 300 erreicht. Der Bericht beziffert den Anstieg auf das 3,1-Fache pro Jahr. Neuere Modelle würden demnach teils mit rund zwanzigmal mehr Daten pro Parameter trainiert als das Verhältnis, das aus den Chinchilla-Skalierungsgesetzen von 2022 als optimal abgeleitet wurde. Chinchilla selbst ist ein Modell mit geschlossenen Gewichten und dient in der Analyse als Vergleichspunkt.
Als Maß berechnet die Analyse die Zahl der insgesamt verwendeten Trainingstokens – geschätzt aus Datensatzgröße multipliziert mit der Zahl der Trainingsdurchläufe – geteilt durch die Zahl der Parameter, die bei einem Vorwärtsdurchlauf aktiv sind. Die ergänzende Tabelle führt zahlreiche Modelle von 2022 bis 2025 auf und nennt, soweit verfügbar, Veröffentlichungsdatum, Parameterzahl, Tokenmengen, Architektur und weitere Angaben. Bei Modellen mit Mixture-of-Experts-Architektur wird zwischen Gesamtparametern und aktiven Parametern unterschieden. Der Bericht hält fest, dass deren Verhältnis von Tokens zu aktiven Parametern dem allgemeinen Trend zu entsprechen scheint.
Die Tabelle zeigt zugleich eine große Streuung zwischen einzelnen Modellen. So liegen die aufgeführten Werte nicht durchweg oberhalb des Chinchilla-Referenzwerts von 20 Tokens pro Parameter; einige Modelle weisen deutlich niedrigere, andere sehr hohe Verhältnisse auf. Die Kernaussage beschreibt daher einen zeitlichen Durchschnittstrend und keine Regel, die für jedes Modell gilt. Bei einzelnen Datensätzen oder Trainingsangaben enthält die Tabelle zudem Schätzungen, Annahmen oder Hinweise auf Unklarheiten; manche Werte fehlen ganz. Die präzisen Einzelvergleiche sind entsprechend von der Verfügbarkeit und Auslegung der veröffentlichten Angaben abhängig.
Epoch AI nennt wirtschaftliche Anreize als mögliche Erklärung: Ein Modell mit mehr Trainingsdaten je Parameter könnte eine vergleichbare Leistung mit weniger Parametern erreichen und dadurch im Betrieb günstiger sein. Entwickler offener Gewichte könnten außerdem Daten stärker skalieren, um Modelle zu schaffen, die Nutzer auf eigener Infrastruktur ausführen können. Der Bericht präsentiert dies als mögliche Gründe, nicht als nachgewiesene Ursachen.
Die Untersuchung beschränkt sich auf Open-Weight-Modelle, weil für sie eher öffentliche Informationen zu Trainingstokens und Parameterzahlen vorliegen. Ob der Trend auch für geschlossene Modelle gilt, lässt sich laut Bericht mangels öffentlicher Daten nicht abschätzen. Die Analyse beansprucht damit keine vollständige Übersicht über alle aktuellen Spitzenmodelle. Der Bericht verweist außerdem auf verfügbaren Analysecode.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die kurze und die mittlere Zusammenfassung wurden gemeinsam bewertet; die kurze Fassung lässt den Wachstumsfaktor und den Chinchilla-Vergleich aus. Die Einordnungen beziehen sich nur auf den Berichtsinhalt.
Im Bericht, aber nicht in der Zusammenfassung
- Wachstumsfaktor von 3,1 pro Jahr seit 2022 (fehlt in der kurzen Fassung)
- Neuere Modelle liegen etwa 20-mal über dem Chinchilla-Verhältnis (fehlt in der kurzen Fassung)
- Mixture-of-Experts-Modelle verhalten sich laut Bericht ähnlich wie dichte Modelle
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 65 %Hintergrund, keine Belege
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 31 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 24 %gleiches Oberthema, hilft nicht
- d3-ultra 39 %Hintergrund, keine Belege
- Haiku-Prüfung Hintergrund, keine Belege
- SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 36 %Hintergrund, keine Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 45 %einzelne zitierbare Belege
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 60 %einzelne zitierbare Belege
- JEV 30 %umfangreiche Belege
- amos 27 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 56 %Hintergrund, keine Belege
- JEV 51 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv