Machine learning model sizes and the parameter gap
Zusammenfassung
Kurz
Epoch AI analysiert 237 Meilensteinsysteme und berichtet, dass Modellgrößen seit 2018, besonders bei Sprachmodellen, deutlich schneller zugenommen haben. Zugleich gab es ab 2020 auffällig wenige Modelle zwischen 20 und 70 Milliarden Parametern; mögliche Kosten- und Wettbewerbsursachen dafür bleiben Hypothesen.
Mittel
Epoch AI wertet 237 bedeutende maschinelle Lernsysteme aus den Jahren 1952 bis 2022 aus und betrachtet ihre Parameterzahl nach Anwendungsbereich. Laut Bericht wuchs die Modellgröße bis etwa 2018 langsam, um rund sieben Größenordnungen. Von 2018 bis 2022 kamen insbesondere bei Sprachmodellen weitere vier Größenordnungen hinzu. Als einheitlicher Trend gerechnet, wäre das etwa 0,9 Größenordnungen pro Jahr beziehungsweise eine Verdopplung alle vier Monate. Auch andere Bereiche wuchsen schneller als zuvor, aber moderater.
Ab 2020 fanden die Autoren viele Modelle unter 20 Milliarden und über 70 Milliarden Parametern, jedoch wenige dazwischen. Sie bezeichnen dies als Parameterlücke. Als mögliche Erklärungen nennen sie höhere Kosten durch andere Parallelisierungstechniken bei mittelgroßen Modellen und einen von GPT-3 ausgelösten Größensprung, den der Wettbewerb um möglichst günstige leistungsfähige Modelle verstetigt haben könnte. Diese Erklärungen sind Hypothesen. Bei getrennter Betrachtung der Modellgruppen zeigt sich unterhalb der Lücke weiteres Wachstum, während oberhalb keine klare positive Rate erkennbar ist. Die Analyse erfasst ausgewählte Meilensteinsysteme und endet 2022; die Autoren sehen in der Lücke einen möglichen Hinweis auf Beschränkungen und künftige sprunghafte Veränderungen.
Ausführlich lesen
Der Bericht von Epoch AI untersucht, wie sich die Größe bedeutender maschineller Lernsysteme seit den 1950er-Jahren verändert hat und ob sich dabei eine auffällige Lücke zwischen Modellgrößen zeigt. Als Maß für die Größe dient die Zahl der Parameter. Der Bericht verweist darauf, dass Modellgröße und Leistung durch bekannte Skalierungsgesetze zusammenhängen; daraus folgt jedoch keine Aussage, dass Größe allein die Leistung bestimmt.
Für die Analyse werteten die Autorinnen und Autoren einen Datensatz mit 237 Meilensteinsystemen aus. Sie ordneten die Systeme den Bereichen Sprache, Bildverarbeitung, Spiele und Sonstiges zu. Demnach nahm die Modellgröße von 1952 bis etwa 2018 insgesamt um sieben Größenordnungen zu, mit einer geschätzten Rate von rund 0,1 Größenordnungen pro Jahr. Seit 2018 beschleunigte sich das Wachstum, besonders bei Sprachmodellen: Für 2018 bis 2022 berichtet die Auswertung einen Anstieg um weitere vier Größenordnungen. Wird dieser Zeitraum als ein einziger Trend behandelt, beträgt die geschätzte Rate etwa 0,9 Größenordnungen jährlich, entsprechend einer Verdopplung ungefähr alle vier Monate. Der Bericht hält zugleich fest, dass andere Bereiche, etwa Bildverarbeitung, moderater wuchsen, aber ebenfalls schneller als vor 2018.
Ab 2020 beobachteten die Forschenden viele Modelle mit weniger als 20 Milliarden Parametern und viele mit mehr als 70 Milliarden, aber nur wenige dazwischen. Diese geringe Zahl mittelgroßer Modelle nennen sie die „Parameterlücke“. Die Verteilung oberhalb der Lücke besteht laut Bericht überwiegend aus Sprach- oder multimodalen Modellen.
Der Bericht nennt zwei Erklärungen, die nach Einschätzung der Autoren am besten zu den vorliegenden Hinweisen passen. Erstens könnten Modelle oberhalb von 20 Milliarden Parametern zusätzliche Kosten verursachen, weil andere Parallelisierungstechniken nötig werden; dadurch könnten mittlere Größen gegenüber kleineren oder größeren Modellen wirtschaftlich unattraktiv sein. Zweitens könnte GPT-3 die Lücke durch einen Sprung um eine Größenordnung gegenüber früheren Systemen eröffnet haben. Der Wettbewerb könne sie aufrechterhalten, wenn Forschende jeweils das günstigste Modell anstreben, das vorherige Systeme übertrifft. Beides sind Hypothesen, keine im Bericht als bewiesen ausgewiesenen Ursachen.
Die Tabelle zeigt, dass der Zeitraum nach 2018 auch anders aufgeteilt werden kann: Unterhalb der Lücke wird ein Wachstum von etwa 0,5 Größenordnungen pro Jahr geschätzt; oberhalb davon ergibt sich für den untersuchten Zeitraum keine klare positive Wachstumsrate. Die Befunde beruhen auf einer Auswahl von Meilensteinsystemen und enden 2022. Der Bericht folgert, dass die Parameterlücke auf Beschränkungen hindeuten könnte, die künftige Größensprünge begünstigen. Das ist eine mögliche Folgerung, keine sichere Prognose.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde die mittlere Zusammenfassung von Luna, da sie die Befunde am vollständigsten wiedergibt; die kurze ist ebenfalls treu, aber knapper. Die Einordnung betrifft Governance-Fragen, der Bericht ist aber eine empirische Analyse von Modellgrößen; deshalb fallen alle Bewertungen niedrig aus. Die Anteilsangaben (73 %, 62 %, 61 %) in Lunas Einordnung wurden nicht übernommen, da das Schema sie nicht vorsieht.
Im Bericht, aber nicht in der Zusammenfassung
- Die Relevanz für die Prognose künftiger Modellgrößen und damit KI-Fähigkeiten, die der Bericht ausdrücklich nennt
- Die Deutung von 2018 als Zusammenwirken: frühere Trendbeschleunigung plus separater Cluster sehr großer Modelle (Tabelle 1)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 56 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 31 %gleiches Oberthema, hilft nicht
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 56 %Hintergrund, keine Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 43 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 73 %Hintergrund, keine Belege
- JEV 35 %Hintergrund, keine Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 50 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 61 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 37 %Hintergrund, keine Belege
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv