Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch9. Juni 2023 · Q004678

How predictable is language model benchmark performance?

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht findet, dass sich aggregierte Leistungen bei BIG-Bench und MMLU anhand des skalierten Rechenaufwands mäßig gut vorhersagen lassen; bei einer Extrapolation über eine Größenordnung beträgt der mittlere absolute Fehler sechs Prozentpunkte. Einzelne Aufgaben schwanken stärker, und Prognosen setzen bereits sichtbare Fortschritte sowie anhaltende Trends voraus; die genannten Zukunftswerte sind daher Schätzungen, keine Beobachtungen.

Mittel

Der Bericht untersucht anhand von elf Modellarchitekturen und 36 Modellgrößen über fünf Größenordnungen des Rechenaufwands, wie gut sich Leistungen bei BIG-Bench und MMLU aus Skalierung ableiten lassen. Zunächst ordnet er Modelle über Skalierungsgesetze einem Verlustwert beziehungsweise skalierten Rechenaufwand zu. Danach passt er einfache Kurven zwischen diesem Wert und der Benchmark-Leistung an und prüft die Vorhersagen in Rücktests mit zurückgehaltenen späteren Datenpunkten.

Aggregierte Benchmark-Leistungen folgen laut Bericht recht gleichmäßigen, S-förmigen Trends. Eine Sigmoid-Anpassung erzielt bei einer Extrapolation über eine Größenordnung im Mittel sechs Prozentpunkte absoluten Fehler. Vorhersagen werden mit größerer Extrapolation unsicherer und benötigen bereits erkennbare Fortschritte. Unter der Bedingung, dass Trends anhalten, schätzt der Bericht, BIG-Bench könne bei rund 6 × 10²⁵ FLOP die Marke von 80 Prozent erreichen; bei 5 × 10²⁶ FLOP beziffert er die Chance dafür auf etwa 90 Prozent.

Einzelne Aufgaben sind deutlich variabler und teils schwer vorherzusagen, bleiben im Rücktest aber besser prognostizierbar als Zufall oder ein einfacher Durchschnittswert. Mehr als die Hälfte liegt unter zehn Prozent Fehler, während einige stark abweichen, besonders Aufgaben mit Multiple-Choice-Messung. Die Autoren sehen Skalierung daher als vielversprechende, aber bedingte Grundlage für Fähigkeitsprognosen.

Ausführlich lesen

Der Bericht von David Owen untersucht, wie gut sich die Leistung von Sprachmodellen bei Benchmarks aus dem Rechenaufwand ihrer Skalierung vorhersagen lässt. Dafür betrachtet er elf neuere Modellarchitekturen in 36 Größen über fünf Größenordnungen des Rechenaufwands. Die ausgewerteten Benchmarks umfassen BIG-Bench, darunter BIG-Bench Hard, sowie MMLU.

Das Vorgehen verbindet zwei Schritte: Zunächst werden Modelle anhand ihrer Größe und Trainingsdatenmenge mithilfe von Skalierungsgesetzen einem geschätzten Verlustwert zugeordnet. Dieser lässt sich auch als „skalierter Rechenaufwand“ ausdrücken, also als der Aufwand, der bei einer optimalen Wahl von Modell- und Datensatzgröße für diesen Verlust nötig wäre. Anschließend werden Kurven angepasst, die Benchmark-Leistung mit dem Verlust beziehungsweise dem skalierten Rechenaufwand verknüpfen. Da pro Aufgabe meist nur einige Dutzend Datenpunkte vorliegen, bevorzugt der Bericht einfache Modelle mit wenigen Parametern. Die Vorhersagegüte wird durch Rücktests geprüft: Spätere Datenpunkte werden beim Anpassen zurückgehalten und anschließend mit den Extrapolationen verglichen.

Für aggregierte Benchmark-Ergebnisse berichtet die Studie eine recht gleichmäßige, S-förmige Beziehung zur Skalierung. Ein Sigmoid-Modell erreicht bei einer Extrapolation über eine Größenordnung des Rechenaufwands einen mittleren absoluten Fehler von sechs Prozentpunkten. Die Vorhersagen werden unsicherer, je weiter in die Zukunft extrapoliert wird. Außerdem braucht es bereits erkennbare Fortschritte: Wenn nur Daten von Modellen mit zunächst niedriger Leistung vorliegen, sind steile spätere Leistungsanstiege schwer vorherzusagen.

Auf Grundlage der angenommenen Fortsetzung der beobachteten Trends schätzt der Bericht, BIG-Bench könne bei etwa 6 × 10²⁵ FLOP skaliertem Rechenaufwand die als menschliches Niveau angesetzte Marke von 80 Prozent überschreiten. Bei 5 × 10²⁶ FLOP veranschlagt die Extrapolation die Wahrscheinlichkeit dafür auf ungefähr 90 Prozent. Das sind bedingte Prognosen des Berichts, keine beobachteten Ergebnisse.

Bei einzelnen Aufgaben schwankt die Skalierung deutlich stärker; abrupte Fähigkeitszuwächse erschweren dort die Vorhersage. Trotzdem seien die Aufgabenleistungen laut Rücktests deutlich besser vorhersagbar als durch Zufall oder eine einfache aufgabenspezifische Durchschnittsprognose. Die Fehlerverteilung ist jedoch stark ungleich: Mehr als die Hälfte der Aufgaben lässt sich mit weniger als zehn Prozent Fehler vorhersagen, während einzelne Aufgaben wesentlich größere Fehler aufweisen. Besonders bei Aufgaben, deren bevorzugte Messgröße Multiple Choice ist, treten laut Bericht größere Vorhersagefehler auf.

Der Bericht folgert, dass aggregierte Fähigkeiten durch Skalierung mäßig gut prognostizierbar sind, einzelne Aufgaben aber weniger zuverlässig. Er sieht darin Unterstützung für skalierungsbasierte Prognosen zu KI-Fähigkeiten und hält solche Methoden für potenziell nützlich bei Forschungs- und Politikentscheidungen. Die Aussagekraft bleibt durch die begrenzte Zahl an Datenpunkten, die ungleichmäßige Vorhersagegüte und die Voraussetzung fortbestehender Trends eingeschränkt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassung gibt den Bericht im Kern treu wieder; die Auslassungen betreffen Nuancen zur Fehlerverteilung und zu früheren Analysen. Die Einordnung stützt sich nur auf den Bericht, und keiner der drei Sammelfragen wird vom Bericht direkt beantwortet.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Erklärung, warum frühere Analysen mit wenigen Modellen Unvorhersagbarkeit fanden, während eine größere Datenreihe signifikante, aber unvollkommene Vorhersagbarkeit zeigt
  • Der Hinweis, dass die Fehlerverteilung über Aufgaben stark ungleich ist (fat-tailed) und Multiple-Choice-Aufgaben besonders hohe Fehler haben

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 35 %gleiches Oberthema, hilft nicht
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %gleiches Oberthema, hilft nicht
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 46 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 37 %gleiches Oberthema, hilft nicht
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 66 %Hintergrund, keine Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %Hintergrund, keine Belege
    • amos 54 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →