How predictable is language model benchmark performance?
Zusammenfassung
Kurz
Der Bericht findet, dass sich aggregierte Leistungen bei BIG-Bench und MMLU anhand des skalierten Rechenaufwands mäßig gut vorhersagen lassen; bei einer Extrapolation über eine Größenordnung beträgt der mittlere absolute Fehler sechs Prozentpunkte. Einzelne Aufgaben schwanken stärker, und Prognosen setzen bereits sichtbare Fortschritte sowie anhaltende Trends voraus; die genannten Zukunftswerte sind daher Schätzungen, keine Beobachtungen.
Mittel
Der Bericht untersucht anhand von elf Modellarchitekturen und 36 Modellgrößen über fünf Größenordnungen des Rechenaufwands, wie gut sich Leistungen bei BIG-Bench und MMLU aus Skalierung ableiten lassen. Zunächst ordnet er Modelle über Skalierungsgesetze einem Verlustwert beziehungsweise skalierten Rechenaufwand zu. Danach passt er einfache Kurven zwischen diesem Wert und der Benchmark-Leistung an und prüft die Vorhersagen in Rücktests mit zurückgehaltenen späteren Datenpunkten.
Aggregierte Benchmark-Leistungen folgen laut Bericht recht gleichmäßigen, S-förmigen Trends. Eine Sigmoid-Anpassung erzielt bei einer Extrapolation über eine Größenordnung im Mittel sechs Prozentpunkte absoluten Fehler. Vorhersagen werden mit größerer Extrapolation unsicherer und benötigen bereits erkennbare Fortschritte. Unter der Bedingung, dass Trends anhalten, schätzt der Bericht, BIG-Bench könne bei rund 6 × 10²⁵ FLOP die Marke von 80 Prozent erreichen; bei 5 × 10²⁶ FLOP beziffert er die Chance dafür auf etwa 90 Prozent.
Einzelne Aufgaben sind deutlich variabler und teils schwer vorherzusagen, bleiben im Rücktest aber besser prognostizierbar als Zufall oder ein einfacher Durchschnittswert. Mehr als die Hälfte liegt unter zehn Prozent Fehler, während einige stark abweichen, besonders Aufgaben mit Multiple-Choice-Messung. Die Autoren sehen Skalierung daher als vielversprechende, aber bedingte Grundlage für Fähigkeitsprognosen.
Ausführlich lesen
Der Bericht von David Owen untersucht, wie gut sich die Leistung von Sprachmodellen bei Benchmarks aus dem Rechenaufwand ihrer Skalierung vorhersagen lässt. Dafür betrachtet er elf neuere Modellarchitekturen in 36 Größen über fünf Größenordnungen des Rechenaufwands. Die ausgewerteten Benchmarks umfassen BIG-Bench, darunter BIG-Bench Hard, sowie MMLU.
Das Vorgehen verbindet zwei Schritte: Zunächst werden Modelle anhand ihrer Größe und Trainingsdatenmenge mithilfe von Skalierungsgesetzen einem geschätzten Verlustwert zugeordnet. Dieser lässt sich auch als „skalierter Rechenaufwand“ ausdrücken, also als der Aufwand, der bei einer optimalen Wahl von Modell- und Datensatzgröße für diesen Verlust nötig wäre. Anschließend werden Kurven angepasst, die Benchmark-Leistung mit dem Verlust beziehungsweise dem skalierten Rechenaufwand verknüpfen. Da pro Aufgabe meist nur einige Dutzend Datenpunkte vorliegen, bevorzugt der Bericht einfache Modelle mit wenigen Parametern. Die Vorhersagegüte wird durch Rücktests geprüft: Spätere Datenpunkte werden beim Anpassen zurückgehalten und anschließend mit den Extrapolationen verglichen.
Für aggregierte Benchmark-Ergebnisse berichtet die Studie eine recht gleichmäßige, S-förmige Beziehung zur Skalierung. Ein Sigmoid-Modell erreicht bei einer Extrapolation über eine Größenordnung des Rechenaufwands einen mittleren absoluten Fehler von sechs Prozentpunkten. Die Vorhersagen werden unsicherer, je weiter in die Zukunft extrapoliert wird. Außerdem braucht es bereits erkennbare Fortschritte: Wenn nur Daten von Modellen mit zunächst niedriger Leistung vorliegen, sind steile spätere Leistungsanstiege schwer vorherzusagen.
Auf Grundlage der angenommenen Fortsetzung der beobachteten Trends schätzt der Bericht, BIG-Bench könne bei etwa 6 × 10²⁵ FLOP skaliertem Rechenaufwand die als menschliches Niveau angesetzte Marke von 80 Prozent überschreiten. Bei 5 × 10²⁶ FLOP veranschlagt die Extrapolation die Wahrscheinlichkeit dafür auf ungefähr 90 Prozent. Das sind bedingte Prognosen des Berichts, keine beobachteten Ergebnisse.
Bei einzelnen Aufgaben schwankt die Skalierung deutlich stärker; abrupte Fähigkeitszuwächse erschweren dort die Vorhersage. Trotzdem seien die Aufgabenleistungen laut Rücktests deutlich besser vorhersagbar als durch Zufall oder eine einfache aufgabenspezifische Durchschnittsprognose. Die Fehlerverteilung ist jedoch stark ungleich: Mehr als die Hälfte der Aufgaben lässt sich mit weniger als zehn Prozent Fehler vorhersagen, während einzelne Aufgaben wesentlich größere Fehler aufweisen. Besonders bei Aufgaben, deren bevorzugte Messgröße Multiple Choice ist, treten laut Bericht größere Vorhersagefehler auf.
Der Bericht folgert, dass aggregierte Fähigkeiten durch Skalierung mäßig gut prognostizierbar sind, einzelne Aufgaben aber weniger zuverlässig. Er sieht darin Unterstützung für skalierungsbasierte Prognosen zu KI-Fähigkeiten und hält solche Methoden für potenziell nützlich bei Forschungs- und Politikentscheidungen. Die Aussagekraft bleibt durch die begrenzte Zahl an Datenpunkten, die ungleichmäßige Vorhersagegüte und die Voraussetzung fortbestehender Trends eingeschränkt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassung gibt den Bericht im Kern treu wieder; die Auslassungen betreffen Nuancen zur Fehlerverteilung und zu früheren Analysen. Die Einordnung stützt sich nur auf den Bericht, und keiner der drei Sammelfragen wird vom Bericht direkt beantwortet.
Im Bericht, aber nicht in der Zusammenfassung
- Die Erklärung, warum frühere Analysen mit wenigen Modellen Unvorhersagbarkeit fanden, während eine größere Datenreihe signifikante, aber unvollkommene Vorhersagbarkeit zeigt
- Der Hinweis, dass die Fehlerverteilung über Aufgaben stark ungleich ist (fat-tailed) und Multiple-Choice-Aufgaben besonders hohe Fehler haben
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 46 %gleiches Oberthema, hilft nicht
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 30 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 66 %Hintergrund, keine Belege
- JEV 29 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %Hintergrund, keine Belege
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv