Frontier language models have become much smaller
Zusammenfassung
Kurz
Ege Erdil argumentiert, dass heutige Spitzenmodelle wahrscheinlich deutlich kleiner sind als GPT‑4, wobei seine Parameterzahlen für geschlossene Modelle Schätzungen aus Preisen und Ausgabegeschwindigkeit sind. Als Ursachen nennt er unter anderem höhere Inferenznachfrage, veränderte Skalierungsregeln, Testzeit-Rechnen und synthetische Daten; für die nächste Modellgeneration erwartet er eher wieder größere Modelle, weist aber auf erhebliche Unsicherheit hin.
Mittel
Ege Erdil vertritt die These, dass Spitzenmodelle seit 2023 trotz des früheren Trends nicht immer größer, sondern deutlich kleiner geworden sind. Für GPT‑4o schätzt er rund 200 Milliarden Parameter, für Claude 3.5 Sonnet etwa 400 Milliarden. Diese Werte sind keine bestätigten Architekturangaben: Der Autor leitet sie aus Benchmark-Ergebnissen offener Modelle sowie aus Preisen und Ausgabegeschwindigkeiten geschlossener Modelle ab. Insbesondere bei GPT‑4o könne seine Schätzung um den Faktor zwei abweichen.
Als Gründe nennt Erdil die gestiegene Nachfrage nach Inferenz, den Wechsel von Kaplan- zu Chinchilla-Skalierung, den Wert schneller Token-Erzeugung für Testzeit-Rechnen und den Einsatz synthetischer Trainingsdaten. Kleinere Modelle könnten außerdem durch Destillation von größeren profitieren. Eine dauerhaft sinkende Modellgröße erwartet er nicht: Der Skalierungswechsel sei einmalig, und Hardwarefortschritte könnten größere Modelle attraktiver machen. Für die nächste Generation hält er es mit etwa 80 Prozent Wahrscheinlichkeit für möglich, dass die meisten Modelle mehr Parameter als GPT‑4 haben. Anschließend schätzt er mit rund 60 Prozent Wahrscheinlichkeit ein Wachstum um weniger als den Faktor zehn über drei Jahre. Seine weiter reichenden Prognosen zu sehr großen Modellen bezeichnet er selbst als spekulativ.
Ausführlich lesen
Der Beitrag von Ege Erdil argumentiert, dass die größten Sprachmodelle an der Leistungsspitze seit 2023 deutlich kleiner geworden sind. Zuvor stiegen die Parameterzahlen stark: von 117 Millionen bei GPT‑1 auf 175 Milliarden bei GPT‑3 und laut Beitrag weiter auf 1,8 Billionen bei GPT‑4. Bei Fortsetzung des früheren Trends hätte man inzwischen Modelle mit annähernd 10 Billionen Parametern erwarten können. Erdil schätzt dagegen, dass GPT‑4o ungefähr 200 Milliarden und Claude 3.5 Sonnet etwa 400 Milliarden Parameter haben könnten. Er betont, dass diese Zahlen für geschlossene Modelle unsicher sind.
Als Belege führt der Autor zunächst offene Modelle an: Mistral Large 2 und Llama 3.3 70B hätten 123 beziehungsweise 70 Milliarden Parameter und schnitten nach einem zusammengefassten Benchmark-Index besser ab als frühere Modelle wie GPT‑4 und Claude 3 Opus. Ihre kleinere Größe mache sie zudem günstiger und schneller im Betrieb. Für geschlossene Modelle leitet Erdil die Größenordnung aus Preisen und Ausgabegeschwindigkeit ab. GPT‑4o werde laut Beitrag schneller und deutlich günstiger angeboten als GPT‑4 Turbo; daraus folgert er, GPT‑4o sei wahrscheinlich viel kleiner. Ein internes Modell zu den Kosten der Inferenz auf H200-GPUs stütze die Schätzung, dass GPT‑4o ungefähr ein Achtel der Größe von GPT‑4 haben könnte. Der Autor sagt ausdrücklich, diese Schätzung könne um den Faktor zwei danebenliegen. Claude 3.5 Sonnet sei langsamer und teurer als GPT‑4o; unter der Annahme beträchtlicher Aufschläge auf die Kosten erscheine auch dieses Modell deutlich kleiner als GPT‑4. Die Zahl von rund 400 Milliarden Parametern sei eine begründete Vermutung, keine veröffentlichte Modellangabe.
Erdil nennt vier mögliche Ursachen für die Umkehr des Größentrends. Erstens habe der starke Anstieg der Nachfrage nach GPT‑4 und ChatGPT den Inferenzbetrieb wichtiger und kostspieliger gemacht. Das könne dazu führen, kleinere Modelle länger beziehungsweise mit mehr Daten zu trainieren und große Modelle zu destillieren. Bei Destillation wird ein kleineres Modell darauf trainiert, die Leistung eines größeren nachzuahmen; der Autor hält dies bei GPT‑4o und Claude 3.5 Sonnet für wahrscheinlich. Zweitens habe der Wechsel von Kaplan- zu Chinchilla-Skalierungsempfehlungen kleinere Modelle mit mehr Trainingsdaten begünstigt. Drittens erhöhe Testzeit-Rechnen den Wert schneller Token-Erzeugung, insbesondere wenn ein Modell viele interne Denkschritte ausführt. Viertens könnten synthetische Trainingsdaten mehr Rechenaufwand pro Trainingsbeispiel ermöglichen, ohne die Modellgröße zu erhöhen.
Ein anhaltender Rückgang der Modellgrößen sei laut Erdil unwahrscheinlich: Der Wechsel der Skalierungsgesetze sei ein einmaliger Effekt, und die Nachfrage könne nicht dauerhaft mit dem bisherigen Sprung wachsen. Zudem könnten bessere Hardware und größere Inferenzbudgets größere Modelle wieder vorteilhaft machen. Erdil vermutet, dass die nächste Generation ungefähr GPT‑4-Größe erreichen oder leicht übertreffen wird. Er gibt eine Wahrscheinlichkeit von rund 80 Prozent an, dass die meisten Modelle dieser Generation mehr Parameter als GPT‑4 haben. Für die drei Jahre danach schätzt er mit etwa 60 Prozent Wahrscheinlichkeit, dass die Größen um weniger als den Faktor zehn wachsen. Seine Überlegungen zu Modellen mit bis zu 100 Billionen Parametern und dazu, dass Modelle mit 1 bis 10 Billionen Parametern sie durch Testzeit-Rechnen übertreffen könnten, kennzeichnet er als spekulativ.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Einordnung stützt sich nur auf den Bericht. Die Stufen wurden unabhängig von Lunas Werten vergeben. Bei SF-H3 weicht die Bewertung deutlich von Lunas Stufe 4 ab, weil der Bericht Herkunft über Destillation und Inhalt über Parameterschätzungen teilweise behandelt.
Im Bericht, aber nicht in der Zusammenfassung
- Der Bericht nennt den bisherigen Wachstumstrend: von 117 Millionen (GPT-1) über 175 Milliarden (GPT-3) auf 1,8 Billionen Parameter (GPT-4), und ohne Umkehr wären heute etwa 10 Billionen zu erwarten gewesen.
- Die Kernaussage, dass die Spitzenmodelle etwa eine Größenordnung kleiner als GPT-4 sind, wird nicht ausdrücklich genannt.
- Der Bericht betont, dass Labore keine Architekturdetails veröffentlichen und die Schätzungen daher unsicher sind; dies wird nur indirekt angedeutet.
- Die Prognose über sehr große Modelle mit etwa 100 Billionen Parametern und die Begründung, warum Testzeit-Rechnen für viele Kunden günstiger ist, fehlen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 42 %beantwortet teilweise oder widerspricht
- amos 29 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 23 %einzelne zitierbare Belege
- d3-ultra 44 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 52 %einzelne zitierbare Belege
- JEV 35 %beantwortet teilweise oder widerspricht
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 28 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 60 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 28 %Hintergrund, keine Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 52 %Hintergrund, keine Belege
- JEV 38 %einzelne zitierbare Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 46 %nur am Rande erwähnt
- amos 30 %nur am Rande erwähnt
- SubQ 32 %gleiches Oberthema, hilft nicht
- drex 36 %nur am Rande erwähnt
- d3-ultra 36 %nur am Rande erwähnt
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 39 %einzelne zitierbare Belege
- JEV 38 %einzelne zitierbare Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra 57 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung beantwortet teilweise oder widerspricht
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 28 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 29 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv