Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch13. Dezember 2024 · Q006574

Frontier language models have become much smaller

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Ege Erdil argumentiert, dass heutige Spitzenmodelle wahrscheinlich deutlich kleiner sind als GPT‑4, wobei seine Parameterzahlen für geschlossene Modelle Schätzungen aus Preisen und Ausgabegeschwindigkeit sind. Als Ursachen nennt er unter anderem höhere Inferenznachfrage, veränderte Skalierungsregeln, Testzeit-Rechnen und synthetische Daten; für die nächste Modellgeneration erwartet er eher wieder größere Modelle, weist aber auf erhebliche Unsicherheit hin.

Mittel

Ege Erdil vertritt die These, dass Spitzenmodelle seit 2023 trotz des früheren Trends nicht immer größer, sondern deutlich kleiner geworden sind. Für GPT‑4o schätzt er rund 200 Milliarden Parameter, für Claude 3.5 Sonnet etwa 400 Milliarden. Diese Werte sind keine bestätigten Architekturangaben: Der Autor leitet sie aus Benchmark-Ergebnissen offener Modelle sowie aus Preisen und Ausgabegeschwindigkeiten geschlossener Modelle ab. Insbesondere bei GPT‑4o könne seine Schätzung um den Faktor zwei abweichen.

Als Gründe nennt Erdil die gestiegene Nachfrage nach Inferenz, den Wechsel von Kaplan- zu Chinchilla-Skalierung, den Wert schneller Token-Erzeugung für Testzeit-Rechnen und den Einsatz synthetischer Trainingsdaten. Kleinere Modelle könnten außerdem durch Destillation von größeren profitieren. Eine dauerhaft sinkende Modellgröße erwartet er nicht: Der Skalierungswechsel sei einmalig, und Hardwarefortschritte könnten größere Modelle attraktiver machen. Für die nächste Generation hält er es mit etwa 80 Prozent Wahrscheinlichkeit für möglich, dass die meisten Modelle mehr Parameter als GPT‑4 haben. Anschließend schätzt er mit rund 60 Prozent Wahrscheinlichkeit ein Wachstum um weniger als den Faktor zehn über drei Jahre. Seine weiter reichenden Prognosen zu sehr großen Modellen bezeichnet er selbst als spekulativ.

Ausführlich lesen

Der Beitrag von Ege Erdil argumentiert, dass die größten Sprachmodelle an der Leistungsspitze seit 2023 deutlich kleiner geworden sind. Zuvor stiegen die Parameterzahlen stark: von 117 Millionen bei GPT‑1 auf 175 Milliarden bei GPT‑3 und laut Beitrag weiter auf 1,8 Billionen bei GPT‑4. Bei Fortsetzung des früheren Trends hätte man inzwischen Modelle mit annähernd 10 Billionen Parametern erwarten können. Erdil schätzt dagegen, dass GPT‑4o ungefähr 200 Milliarden und Claude 3.5 Sonnet etwa 400 Milliarden Parameter haben könnten. Er betont, dass diese Zahlen für geschlossene Modelle unsicher sind.

Als Belege führt der Autor zunächst offene Modelle an: Mistral Large 2 und Llama 3.3 70B hätten 123 beziehungsweise 70 Milliarden Parameter und schnitten nach einem zusammengefassten Benchmark-Index besser ab als frühere Modelle wie GPT‑4 und Claude 3 Opus. Ihre kleinere Größe mache sie zudem günstiger und schneller im Betrieb. Für geschlossene Modelle leitet Erdil die Größenordnung aus Preisen und Ausgabegeschwindigkeit ab. GPT‑4o werde laut Beitrag schneller und deutlich günstiger angeboten als GPT‑4 Turbo; daraus folgert er, GPT‑4o sei wahrscheinlich viel kleiner. Ein internes Modell zu den Kosten der Inferenz auf H200-GPUs stütze die Schätzung, dass GPT‑4o ungefähr ein Achtel der Größe von GPT‑4 haben könnte. Der Autor sagt ausdrücklich, diese Schätzung könne um den Faktor zwei danebenliegen. Claude 3.5 Sonnet sei langsamer und teurer als GPT‑4o; unter der Annahme beträchtlicher Aufschläge auf die Kosten erscheine auch dieses Modell deutlich kleiner als GPT‑4. Die Zahl von rund 400 Milliarden Parametern sei eine begründete Vermutung, keine veröffentlichte Modellangabe.

Erdil nennt vier mögliche Ursachen für die Umkehr des Größentrends. Erstens habe der starke Anstieg der Nachfrage nach GPT‑4 und ChatGPT den Inferenzbetrieb wichtiger und kostspieliger gemacht. Das könne dazu führen, kleinere Modelle länger beziehungsweise mit mehr Daten zu trainieren und große Modelle zu destillieren. Bei Destillation wird ein kleineres Modell darauf trainiert, die Leistung eines größeren nachzuahmen; der Autor hält dies bei GPT‑4o und Claude 3.5 Sonnet für wahrscheinlich. Zweitens habe der Wechsel von Kaplan- zu Chinchilla-Skalierungsempfehlungen kleinere Modelle mit mehr Trainingsdaten begünstigt. Drittens erhöhe Testzeit-Rechnen den Wert schneller Token-Erzeugung, insbesondere wenn ein Modell viele interne Denkschritte ausführt. Viertens könnten synthetische Trainingsdaten mehr Rechenaufwand pro Trainingsbeispiel ermöglichen, ohne die Modellgröße zu erhöhen.

Ein anhaltender Rückgang der Modellgrößen sei laut Erdil unwahrscheinlich: Der Wechsel der Skalierungsgesetze sei ein einmaliger Effekt, und die Nachfrage könne nicht dauerhaft mit dem bisherigen Sprung wachsen. Zudem könnten bessere Hardware und größere Inferenzbudgets größere Modelle wieder vorteilhaft machen. Erdil vermutet, dass die nächste Generation ungefähr GPT‑4-Größe erreichen oder leicht übertreffen wird. Er gibt eine Wahrscheinlichkeit von rund 80 Prozent an, dass die meisten Modelle dieser Generation mehr Parameter als GPT‑4 haben. Für die drei Jahre danach schätzt er mit etwa 60 Prozent Wahrscheinlichkeit, dass die Größen um weniger als den Faktor zehn wachsen. Seine Überlegungen zu Modellen mit bis zu 100 Billionen Parametern und dazu, dass Modelle mit 1 bis 10 Billionen Parametern sie durch Testzeit-Rechnen übertreffen könnten, kennzeichnet er als spekulativ.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich nur auf den Bericht. Die Stufen wurden unabhängig von Lunas Werten vergeben. Bei SF-H3 weicht die Bewertung deutlich von Lunas Stufe 4 ab, weil der Bericht Herkunft über Destillation und Inhalt über Parameterschätzungen teilweise behandelt.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Bericht nennt den bisherigen Wachstumstrend: von 117 Millionen (GPT-1) über 175 Milliarden (GPT-3) auf 1,8 Billionen Parameter (GPT-4), und ohne Umkehr wären heute etwa 10 Billionen zu erwarten gewesen.
  • Die Kernaussage, dass die Spitzenmodelle etwa eine Größenordnung kleiner als GPT-4 sind, wird nicht ausdrücklich genannt.
  • Der Bericht betont, dass Labore keine Architekturdetails veröffentlichen und die Schätzungen daher unsicher sind; dies wird nur indirekt angedeutet.
  • Die Prognose über sehr große Modelle mit etwa 100 Billionen Parametern und die Begründung, warum Testzeit-Rechnen für viele Kunden günstiger ist, fehlen.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 42 %beantwortet teilweise oder widerspricht
    • amos 29 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 23 %einzelne zitierbare Belege
    • d3-ultra 44 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 52 %einzelne zitierbare Belege
    • JEV 35 %beantwortet teilweise oder widerspricht
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 28 %gleiches Oberthema, hilft nicht
    • d3-ultra 46 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 60 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 28 %Hintergrund, keine Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 46 %nur am Rande erwähnt
    • amos 30 %nur am Rande erwähnt
    • SubQ 32 %gleiches Oberthema, hilft nicht
    • drex 36 %nur am Rande erwähnt
    • d3-ultra 36 %nur am Rande erwähnt
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 39 %einzelne zitierbare Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung beantwortet teilweise oder widerspricht
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →