Training compute has scaled up faster for language than vision
Zusammenfassung
Kurz
Epoch AI zufolge lagen der Trainingsrechenaufwand großer Sprach- und Bildmodelle vor 2020 ähnlich, während Sprachmodelle danach schneller skalierten; der Bericht führt dies auf den Erfolg von Transformer-Architekturen zurück. Die aufgeführte Modelldatenbank reicht bis 2025, doch Methode und Unsicherheit der Werte werden nicht ausführlich erläutert, und das Metadatum zum Änderungsdatum widerspricht diesem Datenumfang.
Mittel
Epoch AI vergleicht den Trainingsrechenaufwand bedeutender Sprach- und Bildmodelle, angegeben in FLOP. Laut Bericht waren die größten Modelle beider Bereiche vor 2020 ungefähr gleichauf. Danach stieg der Aufwand bei Sprachmodellen schneller, was der Text mit dem Erfolg transformerbasierter Architekturen erklärt. Eigenständige Bildmodelle hätten nicht mitgehalten; zunehmend seien multimodale Modelle entstanden, die Sprache und Bilder verbinden.
Die Datengrundlage ist eine umfangreiche Liste von Modellen mit Einsatzgebiet, Rechenwert, Organisation und Veröffentlichungsdatum. Sie reicht von frühen Systemen um 2010 bis zu Einträgen aus 2025. Der Quelltext erklärt jedoch weder ausführlich die Erhebungsmethode noch die Vergleichbarkeit oder Unsicherheit der Werte. Auch wird kein Kausaltest für die genannte Erklärung zur Rolle der Transformer beschrieben. Die Tabelle ist doppelt enthalten, und das angegebene Änderungsdatum von Juni 2024 passt nicht zu den Einträgen bis September 2025. Der Bericht liefert somit einen Trendvergleich anhand der aufgeführten Werte, aber keine umfassende methodische Prüfung.
Ausführlich lesen
Der Bericht von Epoch AI vergleicht den für das Training bedeutender Sprach- und Bildmodelle eingesetzten Rechenaufwand, gemessen in FLOP. Seine zentrale Aussage lautet: Vor 2020 lagen die größten Sprach- und Bildmodelle beim Trainingsaufwand ungefähr auf ähnlichem Niveau. Danach sei der Rechenaufwand großer Sprachmodelle deutlich schneller gestiegen. Als Erklärung nennt der Bericht den Erfolg transformerbasierter Architekturen. Eigenständige Bildmodelle hätten mit dieser Entwicklung nicht Schritt gehalten; stattdessen seien größere multimodale Modelle entstanden, die Bildverarbeitung und weitere Modalitäten mit Sprachfähigkeiten verbinden.
Als Grundlage enthält der Quelltext eine umfangreiche, nach Sprach-, Bild- und Sprach-Bild-Modellen geordnete Datentabelle. Zu den Einträgen gehören Modellname, Einsatzgebiet, geschätzter Trainingsaufwand, Organisation und Veröffentlichungsdatum. Die Liste reicht von frühen Modellen um 2010 bis zu Einträgen aus 2025. Sie umfasst etwa AlexNet und spätere Vision-Transformer, Sprachmodelle wie GPT-3 und PaLM sowie multimodale Systeme wie GPT-4 und Gemini. Damit zeigt die Sammlung einzelne dokumentierte Modelle und ihre zugeordneten Rechenwerte; der Text liefert jedoch keine ausführliche Beschreibung, wie die Werte erhoben oder miteinander vergleichbar gemacht wurden.
Das dargestellte Ergebnis ist ein zeitlicher Abstand zwischen der Skalierung von Sprache und eigenständiger Bildverarbeitung sowie ein späterer Bedeutungszuwachs multimodaler Systeme. Der Bericht formuliert außerdem, dass die Sprachskalierung nach 2020 durch Transformer-Erfolge vorangetrieben worden sei. Das ist eine im Bericht genannte Erklärung, kein in diesem Quelltext separat nachgewiesener Kausaltest.
Die Aussagekraft ist durch die vorliegende Fassung begrenzt: Sie enthält eine kurze Erklärung, Beschriftungen eines Diagramms und Datentabellen, aber keine beschriebene Forschungsmethode, Unsicherheitsangaben oder ausführliche Diskussion möglicher Auswahl- und Schätzfehler. Die Tabelle ist im Quelltext zweimal nahezu vollständig wiederholt. Zudem stimmen Metadaten und Datenumfang zeitlich nicht überein: Als Änderungsdatum ist Juni 2024 angegeben, während die Tabelle Modelle bis September 2025 enthält. Die Darstellung sollte daher als zusammenfassender Trendvergleich anhand der aufgeführten Modellwerte gelesen werden, nicht als vollständiger Beleg für alle Entwicklungen in Sprach- und Bild-KI.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassung ist im Kern treu, die Kurzfassung lässt die Aussage zu Bildmodellen und Multimodalität aus, die mittlere Fassung deckt sie ab. Die Tabelle ist im Bericht doppelt enthalten, und das Änderungsdatum 2024-06-19 passt nicht zu den Einträgen bis 2025-09; Luna hat das richtig vermerkt.
Im Bericht, aber nicht in der Zusammenfassung
- Kurzfassung nennt nicht, dass eigenständige Bildmodelle nicht aufholten und die größten Modelle zuletzt multimodal wurden (GPT-4, Gemini)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 21 %Hintergrund, keine Belege
- Luna 69 %Hintergrund, keine Belege
- JEV 43 %gleiches Oberthema, hilft nicht
- amos 24 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 44 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 72 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 47 %Hintergrund, keine Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 59 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv