Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch5. Juli 2022 · Q004872

Machine learning model sizes and the parameter gap

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI analysiert 237 Meilensteinsysteme und berichtet, dass Modellgrößen seit 2018, besonders bei Sprachmodellen, deutlich schneller zugenommen haben. Zugleich gab es ab 2020 auffällig wenige Modelle zwischen 20 und 70 Milliarden Parametern; mögliche Kosten- und Wettbewerbsursachen dafür bleiben Hypothesen.

Mittel

Epoch AI wertet 237 bedeutende maschinelle Lernsysteme aus den Jahren 1952 bis 2022 aus und betrachtet ihre Parameterzahl nach Anwendungsbereich. Laut Bericht wuchs die Modellgröße bis etwa 2018 langsam, um rund sieben Größenordnungen. Von 2018 bis 2022 kamen insbesondere bei Sprachmodellen weitere vier Größenordnungen hinzu. Als einheitlicher Trend gerechnet, wäre das etwa 0,9 Größenordnungen pro Jahr beziehungsweise eine Verdopplung alle vier Monate. Auch andere Bereiche wuchsen schneller als zuvor, aber moderater.

Ab 2020 fanden die Autoren viele Modelle unter 20 Milliarden und über 70 Milliarden Parametern, jedoch wenige dazwischen. Sie bezeichnen dies als Parameterlücke. Als mögliche Erklärungen nennen sie höhere Kosten durch andere Parallelisierungstechniken bei mittelgroßen Modellen und einen von GPT-3 ausgelösten Größensprung, den der Wettbewerb um möglichst günstige leistungsfähige Modelle verstetigt haben könnte. Diese Erklärungen sind Hypothesen. Bei getrennter Betrachtung der Modellgruppen zeigt sich unterhalb der Lücke weiteres Wachstum, während oberhalb keine klare positive Rate erkennbar ist. Die Analyse erfasst ausgewählte Meilensteinsysteme und endet 2022; die Autoren sehen in der Lücke einen möglichen Hinweis auf Beschränkungen und künftige sprunghafte Veränderungen.

Ausführlich lesen

Der Bericht von Epoch AI untersucht, wie sich die Größe bedeutender maschineller Lernsysteme seit den 1950er-Jahren verändert hat und ob sich dabei eine auffällige Lücke zwischen Modellgrößen zeigt. Als Maß für die Größe dient die Zahl der Parameter. Der Bericht verweist darauf, dass Modellgröße und Leistung durch bekannte Skalierungsgesetze zusammenhängen; daraus folgt jedoch keine Aussage, dass Größe allein die Leistung bestimmt.

Für die Analyse werteten die Autorinnen und Autoren einen Datensatz mit 237 Meilensteinsystemen aus. Sie ordneten die Systeme den Bereichen Sprache, Bildverarbeitung, Spiele und Sonstiges zu. Demnach nahm die Modellgröße von 1952 bis etwa 2018 insgesamt um sieben Größenordnungen zu, mit einer geschätzten Rate von rund 0,1 Größenordnungen pro Jahr. Seit 2018 beschleunigte sich das Wachstum, besonders bei Sprachmodellen: Für 2018 bis 2022 berichtet die Auswertung einen Anstieg um weitere vier Größenordnungen. Wird dieser Zeitraum als ein einziger Trend behandelt, beträgt die geschätzte Rate etwa 0,9 Größenordnungen jährlich, entsprechend einer Verdopplung ungefähr alle vier Monate. Der Bericht hält zugleich fest, dass andere Bereiche, etwa Bildverarbeitung, moderater wuchsen, aber ebenfalls schneller als vor 2018.

Ab 2020 beobachteten die Forschenden viele Modelle mit weniger als 20 Milliarden Parametern und viele mit mehr als 70 Milliarden, aber nur wenige dazwischen. Diese geringe Zahl mittelgroßer Modelle nennen sie die „Parameterlücke“. Die Verteilung oberhalb der Lücke besteht laut Bericht überwiegend aus Sprach- oder multimodalen Modellen.

Der Bericht nennt zwei Erklärungen, die nach Einschätzung der Autoren am besten zu den vorliegenden Hinweisen passen. Erstens könnten Modelle oberhalb von 20 Milliarden Parametern zusätzliche Kosten verursachen, weil andere Parallelisierungstechniken nötig werden; dadurch könnten mittlere Größen gegenüber kleineren oder größeren Modellen wirtschaftlich unattraktiv sein. Zweitens könnte GPT-3 die Lücke durch einen Sprung um eine Größenordnung gegenüber früheren Systemen eröffnet haben. Der Wettbewerb könne sie aufrechterhalten, wenn Forschende jeweils das günstigste Modell anstreben, das vorherige Systeme übertrifft. Beides sind Hypothesen, keine im Bericht als bewiesen ausgewiesenen Ursachen.

Die Tabelle zeigt, dass der Zeitraum nach 2018 auch anders aufgeteilt werden kann: Unterhalb der Lücke wird ein Wachstum von etwa 0,5 Größenordnungen pro Jahr geschätzt; oberhalb davon ergibt sich für den untersuchten Zeitraum keine klare positive Wachstumsrate. Die Befunde beruhen auf einer Auswahl von Meilensteinsystemen und enden 2022. Der Bericht folgert, dass die Parameterlücke auf Beschränkungen hindeuten könnte, die künftige Größensprünge begünstigen. Das ist eine mögliche Folgerung, keine sichere Prognose.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurde die mittlere Zusammenfassung von Luna, da sie die Befunde am vollständigsten wiedergibt; die kurze ist ebenfalls treu, aber knapper. Die Einordnung betrifft Governance-Fragen, der Bericht ist aber eine empirische Analyse von Modellgrößen; deshalb fallen alle Bewertungen niedrig aus. Die Anteilsangaben (73 %, 62 %, 61 %) in Lunas Einordnung wurden nicht übernommen, da das Schema sie nicht vorsieht.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Relevanz für die Prognose künftiger Modellgrößen und damit KI-Fähigkeiten, die der Bericht ausdrücklich nennt
  • Die Deutung von 2018 als Zusammenwirken: frühere Trendbeschleunigung plus separater Cluster sehr großer Modelle (Tabelle 1)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 36 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 31 %gleiches Oberthema, hilft nicht
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 35 %gleiches Oberthema, hilft nicht
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 43 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 73 %Hintergrund, keine Belege
    • JEV 35 %Hintergrund, keine Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 62 %Hintergrund, keine Belege
    • JEV 37 %Hintergrund, keine Belege
    • amos 56 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →