Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch19. Juni 2024 · Q005964

Training compute has scaled up faster for language than vision

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI zufolge lagen der Trainingsrechenaufwand großer Sprach- und Bildmodelle vor 2020 ähnlich, während Sprachmodelle danach schneller skalierten; der Bericht führt dies auf den Erfolg von Transformer-Architekturen zurück. Die aufgeführte Modelldatenbank reicht bis 2025, doch Methode und Unsicherheit der Werte werden nicht ausführlich erläutert, und das Metadatum zum Änderungsdatum widerspricht diesem Datenumfang.

Mittel

Epoch AI vergleicht den Trainingsrechenaufwand bedeutender Sprach- und Bildmodelle, angegeben in FLOP. Laut Bericht waren die größten Modelle beider Bereiche vor 2020 ungefähr gleichauf. Danach stieg der Aufwand bei Sprachmodellen schneller, was der Text mit dem Erfolg transformerbasierter Architekturen erklärt. Eigenständige Bildmodelle hätten nicht mitgehalten; zunehmend seien multimodale Modelle entstanden, die Sprache und Bilder verbinden.

Die Datengrundlage ist eine umfangreiche Liste von Modellen mit Einsatzgebiet, Rechenwert, Organisation und Veröffentlichungsdatum. Sie reicht von frühen Systemen um 2010 bis zu Einträgen aus 2025. Der Quelltext erklärt jedoch weder ausführlich die Erhebungsmethode noch die Vergleichbarkeit oder Unsicherheit der Werte. Auch wird kein Kausaltest für die genannte Erklärung zur Rolle der Transformer beschrieben. Die Tabelle ist doppelt enthalten, und das angegebene Änderungsdatum von Juni 2024 passt nicht zu den Einträgen bis September 2025. Der Bericht liefert somit einen Trendvergleich anhand der aufgeführten Werte, aber keine umfassende methodische Prüfung.

Ausführlich lesen

Der Bericht von Epoch AI vergleicht den für das Training bedeutender Sprach- und Bildmodelle eingesetzten Rechenaufwand, gemessen in FLOP. Seine zentrale Aussage lautet: Vor 2020 lagen die größten Sprach- und Bildmodelle beim Trainingsaufwand ungefähr auf ähnlichem Niveau. Danach sei der Rechenaufwand großer Sprachmodelle deutlich schneller gestiegen. Als Erklärung nennt der Bericht den Erfolg transformerbasierter Architekturen. Eigenständige Bildmodelle hätten mit dieser Entwicklung nicht Schritt gehalten; stattdessen seien größere multimodale Modelle entstanden, die Bildverarbeitung und weitere Modalitäten mit Sprachfähigkeiten verbinden.

Als Grundlage enthält der Quelltext eine umfangreiche, nach Sprach-, Bild- und Sprach-Bild-Modellen geordnete Datentabelle. Zu den Einträgen gehören Modellname, Einsatzgebiet, geschätzter Trainingsaufwand, Organisation und Veröffentlichungsdatum. Die Liste reicht von frühen Modellen um 2010 bis zu Einträgen aus 2025. Sie umfasst etwa AlexNet und spätere Vision-Transformer, Sprachmodelle wie GPT-3 und PaLM sowie multimodale Systeme wie GPT-4 und Gemini. Damit zeigt die Sammlung einzelne dokumentierte Modelle und ihre zugeordneten Rechenwerte; der Text liefert jedoch keine ausführliche Beschreibung, wie die Werte erhoben oder miteinander vergleichbar gemacht wurden.

Das dargestellte Ergebnis ist ein zeitlicher Abstand zwischen der Skalierung von Sprache und eigenständiger Bildverarbeitung sowie ein späterer Bedeutungszuwachs multimodaler Systeme. Der Bericht formuliert außerdem, dass die Sprachskalierung nach 2020 durch Transformer-Erfolge vorangetrieben worden sei. Das ist eine im Bericht genannte Erklärung, kein in diesem Quelltext separat nachgewiesener Kausaltest.

Die Aussagekraft ist durch die vorliegende Fassung begrenzt: Sie enthält eine kurze Erklärung, Beschriftungen eines Diagramms und Datentabellen, aber keine beschriebene Forschungsmethode, Unsicherheitsangaben oder ausführliche Diskussion möglicher Auswahl- und Schätzfehler. Die Tabelle ist im Quelltext zweimal nahezu vollständig wiederholt. Zudem stimmen Metadaten und Datenumfang zeitlich nicht überein: Als Änderungsdatum ist Juni 2024 angegeben, während die Tabelle Modelle bis September 2025 enthält. Die Darstellung sollte daher als zusammenfassender Trendvergleich anhand der aufgeführten Modellwerte gelesen werden, nicht als vollständiger Beleg für alle Entwicklungen in Sprach- und Bild-KI.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassung ist im Kern treu, die Kurzfassung lässt die Aussage zu Bildmodellen und Multimodalität aus, die mittlere Fassung deckt sie ab. Die Tabelle ist im Bericht doppelt enthalten, und das Änderungsdatum 2024-06-19 passt nicht zu den Einträgen bis 2025-09; Luna hat das richtig vermerkt.

Im Bericht, aber nicht in der Zusammenfassung

  • Kurzfassung nennt nicht, dass eigenständige Bildmodelle nicht aufholten und die größten Modelle zuletzt multimodal wurden (GPT-4, Gemini)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 21 %Hintergrund, keine Belege
    • Luna 69 %Hintergrund, keine Belege
    • JEV 43 %gleiches Oberthema, hilft nicht
    • amos 24 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 44 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 72 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 47 %Hintergrund, keine Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 59 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →