Algorithmic progress in language models
Zusammenfassung
Kurz
Epoch AI schätzt, dass die für ein bestimmtes Leistungsniveau nötige Rechenleistung bei Sprachmodellen ungefähr alle acht Monate halbiert wurde. Laut der Studie entfiel der größere Teil der Leistungsgewinne auf mehr Rechenleistung und Trainingsdaten; algorithmische Verbesserungen trugen ebenfalls bei, lassen sich aber wegen methodischer Unsicherheiten schwer genau beziffern.
Mittel
Epoch AI untersucht, welchen Anteil algorithmische Neuerungen am Fortschritt bei Sprachmodellen haben. Die Studie wertet 231 Modelle aus und schätzt, dass sich die für ein bestimmtes Leistungsniveau benötigte Rechenleistung ungefähr alle acht Monate halbiert; das 95-Prozent-Konfidenzintervall reicht von fünf bis 14 Monaten. Eine Shapley-Wert-Analyse ordnet 60 bis 95 Prozent der Leistungsgewinne mehr Rechenleistung und Trainingsdaten zu, während neue Algorithmen 5 bis 40 Prozent ausgemacht hätten. Der relative Beitrag der Algorithmen sei seit der beschleunigten Skalierung ab etwa 2018 zurückgegangen.
Als besonders einflussreich nennt der Bericht die Transformer-Architektur, deren Effekt fast zwei Jahren algorithmischen Fortschritts entspreche, sowie die Chinchilla-Skalierungsgesetze mit geschätzten acht bis 16 Monaten. Diese Werte sind Studienergebnisse, keine zuverlässigen Einzelmessungen des Effekts jeder Innovation. Die Forschenden betonen, dass sich Skalierung und algorithmische Verbesserungen wegen ihres gemeinsamen Auftretens nur schwer auseinanderhalten lassen. Auch Modellgröße und unterschiedliche Modellierungsansätze beeinflussen die Schätzungen. Die Studie behandelt Vortraining, nicht algorithmische Verbesserungen im Nachtraining; ob sich die bisherigen Fortschrittsraten fortsetzen, bleibt offen.
Ausführlich lesen
Der Bericht von Epoch AI untersucht, wie stark algorithmische Verbesserungen zum Fortschritt bei Sprachmodellen beigetragen haben und wie sich ihr Einfluss gegenüber der wachsenden Rechenleistung verhält. Er stellt den Wandel seit 2012 heraus: Damals hätten führende Sprachmodelle noch Schwierigkeiten gehabt, zusammenhängende Sätze zu erzeugen; inzwischen unterstützten Modelle wie GPT-4 laut Bericht Hunderte Millionen aktive Nutzerinnen und Nutzer bei vielfältigen Aufgaben. Als wichtige Ursache nennt Epoch die starke Zunahme der Trainingsrechenleistung. Zugleich hätten bessere Architekturen, Optimierer und weitere algorithmische Neuerungen die Rechenmenge verringert, die für eine bestimmte Leistung erforderlich ist.
Die zugrunde liegende Studie konzentriert sich auf algorithmische Verbesserungen beim Vortraining und wertet 231 Sprachmodelle aus. Epoch schätzt, dass sich die erforderliche Rechenleistung für ein bestimmtes Leistungsniveau ungefähr alle acht Monate halbiert habe. Das Unsicherheitsintervall der Schätzung reiche von fünf bis 14 Monaten. Der Bericht vergleicht diese Rate mit Fortschritten in anderen Computerbereichen und mit der Verdopplung der Hardwareleistung etwa alle zwei Jahre, wie sie das Moore’sche Gesetz beschreibt; die algorithmischen Fortschritte bei Sprachmodellen seien demnach schneller.
Um den Beitrag von Algorithmen und Skalierung aufzuteilen, verwenden die Forschenden laut Bericht eine Shapley-Wert-Analyse. Diese ordnet dem Wachstum von Rechenleistung und Trainingsdaten 60 bis 95 Prozent der Leistungsgewinne zu; neue Algorithmen hätten demnach 5 bis 40 Prozent beigetragen. Der relative Anteil algorithmischer Verbesserungen sei gesunken, als die Skalierung der Rechenleistung ab etwa 2018 beschleunigt habe. Insgesamt schreibt Epoch den Großteil der jüngeren Leistungssteigerungen der Skalierung und nicht grundlegenden algorithmischen Neuerungen zu.
Zwei Innovationen hebt die Studie besonders hervor: Die Transformer-Architektur, auf der heutige führende Modelle wie GPT-4 beruhen, entspreche in ihrer Wirkung fast zwei Jahren algorithmischen Fortschritts. Die Chinchilla-Skalierungsgesetze hätten einen Fortschritt im Umfang von acht bis 16 Monaten bewirkt. Solche Angaben sind Schätzungen der Studie, keine isolierten Messungen des Effekts jeder einzelnen Neuerung.
Der Bericht benennt mehrere Grenzen. Das Modell könne den Effekt konkreter Innovationen nicht zuverlässig bestimmen. Weil algorithmische Verbesserungen und mehr Rechenleistung historisch oft gemeinsam auftraten, lasse sich ihr jeweiliger Beitrag schwer trennen. Außerdem hänge die Wirkung einer Innovation von der Modellgröße ab; die Schätzungen ließen sich daher nicht ohne Weiteres auf Modelle mit kleinen Rechenbudgets übertragen. Verschiedene mögliche Modellierungsansätze ergäben eine breite Spanne plausibler Fortschrittsraten, und bessere sowie umfangreichere Daten seien nötig. Unklar bleibe auch, ob sich die bisherigen Raten künftig fortsetzen. Die Untersuchung berücksichtigt algorithmische Verbesserungen im Nachtraining nicht; deren Beitrag wird als weiterer wichtiger Leistungstreiber genannt. Künftiger Fortschritt könne zudem von Investitionen und davon abhängen, in welchem Maß KI menschliche Arbeitskräfte ersetzt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Sammelfragen SF-T2, SF-V5 und SF-T3 stammen nicht aus dem Berichtsthema; die Einordnung bleibt deshalb niedrig. Die Anteilsangaben (74 %, 70 %, 68 %) in Lunas Einordnung sind durch den Bericht nicht gedeckt und wurden nicht übernommen. Die Zusammenfassungen selbst sind inhaltlich weitgehend zutreffend.
Im Bericht, aber nicht in der Zusammenfassung
- Vergleich mit anderen Bereichen: Der algorithmische Fortschritt übertrifft nach dem Bericht die Raten in vielen anderen Computerbereichen und das Verdopplungstempo des Moore'schen Gesetzes von zwei Jahren
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 44 %gleiches Oberthema, hilft nicht
- JEV 34 %gleiches Oberthema, hilft nicht
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 41 %gleiches Oberthema, hilft nicht
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 74 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 24 %gleiches Oberthema, hilft nicht
- Luna 68 %Hintergrund, keine Belege
- JEV 39 %Hintergrund, keine Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 31 %Hintergrund, keine Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 70 %Hintergrund, keine Belege
- JEV 37 %Hintergrund, keine Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 51 %Hintergrund, keine Belege
- JEV 39 %Hintergrund, keine Belege
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv