Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch12. März 2024 · Q003740

Algorithmic progress in language models

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI schätzt, dass die für ein bestimmtes Leistungsniveau nötige Rechenleistung bei Sprachmodellen ungefähr alle acht Monate halbiert wurde. Laut der Studie entfiel der größere Teil der Leistungsgewinne auf mehr Rechenleistung und Trainingsdaten; algorithmische Verbesserungen trugen ebenfalls bei, lassen sich aber wegen methodischer Unsicherheiten schwer genau beziffern.

Mittel

Epoch AI untersucht, welchen Anteil algorithmische Neuerungen am Fortschritt bei Sprachmodellen haben. Die Studie wertet 231 Modelle aus und schätzt, dass sich die für ein bestimmtes Leistungsniveau benötigte Rechenleistung ungefähr alle acht Monate halbiert; das 95-Prozent-Konfidenzintervall reicht von fünf bis 14 Monaten. Eine Shapley-Wert-Analyse ordnet 60 bis 95 Prozent der Leistungsgewinne mehr Rechenleistung und Trainingsdaten zu, während neue Algorithmen 5 bis 40 Prozent ausgemacht hätten. Der relative Beitrag der Algorithmen sei seit der beschleunigten Skalierung ab etwa 2018 zurückgegangen.

Als besonders einflussreich nennt der Bericht die Transformer-Architektur, deren Effekt fast zwei Jahren algorithmischen Fortschritts entspreche, sowie die Chinchilla-Skalierungsgesetze mit geschätzten acht bis 16 Monaten. Diese Werte sind Studienergebnisse, keine zuverlässigen Einzelmessungen des Effekts jeder Innovation. Die Forschenden betonen, dass sich Skalierung und algorithmische Verbesserungen wegen ihres gemeinsamen Auftretens nur schwer auseinanderhalten lassen. Auch Modellgröße und unterschiedliche Modellierungsansätze beeinflussen die Schätzungen. Die Studie behandelt Vortraining, nicht algorithmische Verbesserungen im Nachtraining; ob sich die bisherigen Fortschrittsraten fortsetzen, bleibt offen.

Ausführlich lesen

Der Bericht von Epoch AI untersucht, wie stark algorithmische Verbesserungen zum Fortschritt bei Sprachmodellen beigetragen haben und wie sich ihr Einfluss gegenüber der wachsenden Rechenleistung verhält. Er stellt den Wandel seit 2012 heraus: Damals hätten führende Sprachmodelle noch Schwierigkeiten gehabt, zusammenhängende Sätze zu erzeugen; inzwischen unterstützten Modelle wie GPT-4 laut Bericht Hunderte Millionen aktive Nutzerinnen und Nutzer bei vielfältigen Aufgaben. Als wichtige Ursache nennt Epoch die starke Zunahme der Trainingsrechenleistung. Zugleich hätten bessere Architekturen, Optimierer und weitere algorithmische Neuerungen die Rechenmenge verringert, die für eine bestimmte Leistung erforderlich ist.

Die zugrunde liegende Studie konzentriert sich auf algorithmische Verbesserungen beim Vortraining und wertet 231 Sprachmodelle aus. Epoch schätzt, dass sich die erforderliche Rechenleistung für ein bestimmtes Leistungsniveau ungefähr alle acht Monate halbiert habe. Das Unsicherheitsintervall der Schätzung reiche von fünf bis 14 Monaten. Der Bericht vergleicht diese Rate mit Fortschritten in anderen Computerbereichen und mit der Verdopplung der Hardwareleistung etwa alle zwei Jahre, wie sie das Moore’sche Gesetz beschreibt; die algorithmischen Fortschritte bei Sprachmodellen seien demnach schneller.

Um den Beitrag von Algorithmen und Skalierung aufzuteilen, verwenden die Forschenden laut Bericht eine Shapley-Wert-Analyse. Diese ordnet dem Wachstum von Rechenleistung und Trainingsdaten 60 bis 95 Prozent der Leistungsgewinne zu; neue Algorithmen hätten demnach 5 bis 40 Prozent beigetragen. Der relative Anteil algorithmischer Verbesserungen sei gesunken, als die Skalierung der Rechenleistung ab etwa 2018 beschleunigt habe. Insgesamt schreibt Epoch den Großteil der jüngeren Leistungssteigerungen der Skalierung und nicht grundlegenden algorithmischen Neuerungen zu.

Zwei Innovationen hebt die Studie besonders hervor: Die Transformer-Architektur, auf der heutige führende Modelle wie GPT-4 beruhen, entspreche in ihrer Wirkung fast zwei Jahren algorithmischen Fortschritts. Die Chinchilla-Skalierungsgesetze hätten einen Fortschritt im Umfang von acht bis 16 Monaten bewirkt. Solche Angaben sind Schätzungen der Studie, keine isolierten Messungen des Effekts jeder einzelnen Neuerung.

Der Bericht benennt mehrere Grenzen. Das Modell könne den Effekt konkreter Innovationen nicht zuverlässig bestimmen. Weil algorithmische Verbesserungen und mehr Rechenleistung historisch oft gemeinsam auftraten, lasse sich ihr jeweiliger Beitrag schwer trennen. Außerdem hänge die Wirkung einer Innovation von der Modellgröße ab; die Schätzungen ließen sich daher nicht ohne Weiteres auf Modelle mit kleinen Rechenbudgets übertragen. Verschiedene mögliche Modellierungsansätze ergäben eine breite Spanne plausibler Fortschrittsraten, und bessere sowie umfangreichere Daten seien nötig. Unklar bleibe auch, ob sich die bisherigen Raten künftig fortsetzen. Die Untersuchung berücksichtigt algorithmische Verbesserungen im Nachtraining nicht; deren Beitrag wird als weiterer wichtiger Leistungstreiber genannt. Künftiger Fortschritt könne zudem von Investitionen und davon abhängen, in welchem Maß KI menschliche Arbeitskräfte ersetzt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Sammelfragen SF-T2, SF-V5 und SF-T3 stammen nicht aus dem Berichtsthema; die Einordnung bleibt deshalb niedrig. Die Anteilsangaben (74 %, 70 %, 68 %) in Lunas Einordnung sind durch den Bericht nicht gedeckt und wurden nicht übernommen. Die Zusammenfassungen selbst sind inhaltlich weitgehend zutreffend.

Im Bericht, aber nicht in der Zusammenfassung

  • Vergleich mit anderen Bereichen: Der algorithmische Fortschritt übertrifft nach dem Bericht die Raten in vielen anderen Computerbereichen und das Verdopplungstempo des Moore'schen Gesetzes von zwei Jahren

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
  1. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 74 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 24 %gleiches Oberthema, hilft nicht
    • Luna 68 %Hintergrund, keine Belege
    • JEV 39 %Hintergrund, keine Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 31 %Hintergrund, keine Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 70 %Hintergrund, keine Belege
    • JEV 37 %Hintergrund, keine Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung kein Bezug
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 39 %Hintergrund, keine Belege
    • amos 55 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →