Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch21. April 2023 · Q005142

Power laws in speedrunning and machine learning

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Die Website-Übersicht beschreibt ein Modell, das anhand von Speedrunning-Weltrekorden Potenzgesetz-Muster nutzt und Rekordverbesserungen besser vorhersagt als die Annahme, es gebe keine Verbesserung. Für ML-Benchmarks reichen die Langzeitdaten laut Text nicht für einen definitiven Nachweis eines solchen Musters, auch wenn das Modell eine konstante Basisprognose übertrifft. Die Aussagen, Benchmarks seien noch nicht nahe der Sättigung und sehr große Sprünge träten etwa einmal in fünfzig Fällen auf, gelten unter der Annahme eines Potenzgesetzes; das vollständige Paper liegt hier nicht vor.

Mittel

Der Text ist eine Website-Übersicht zu einer Studie über Leistungsverbesserungen beim Speedrunning und maschinellen Lernen; das vollständige Paper ist hier nicht enthalten. Weil ML-Benchmarks laut Übersicht uneinheitliche Messgrößen und meist kurze historische Reihen haben, untersucht die Studie zunächst 25 Speedrunning-Kategorien anhand von speedrun.com-Daten. Die Weltrekordfortschritte zeigen demnach ein auffälliges Potenzgesetz-Muster. Ein darauf beruhendes Zufallseffektmodell sagt die Größe weiterer Rekordverbesserungen besser voraus als die Annahme, es gebe keine Verbesserung, und ähnlich gut wie ein nachträglich an den gesamten Datensatz angepasstes Modell. Zusammen mit einer Zeitprognose übertrifft es laut Text auch bei der Vorhersage neuer Rekorde über einen bestimmten Zeitraum diese einfache Basis.

Für ML-Benchmarks reichen die verfügbaren Langzeitdaten nicht aus, um ein abklingendes Potenzgesetz überzeugend nachzuweisen. Das Modell übertrifft dennoch eine konstante Basisprognose. Unter der Annahme eines Potenzgesetzes deutet es darauf hin, dass die Benchmarks noch nicht nahe an der Sättigung liegen und sehr große Verbesserungen selten, aber möglich sind: Sprünge über das Zehnfache jüngster Verbesserungen schätzt das Modell auf etwa einmal pro fünfzig Fälle. Die Übersicht bezeichnet die Erkenntnisse als vorläufig.

Ausführlich lesen

Der vorliegende Text ist eine Website-Übersicht zu einer Studie über Leistungstrends beim Videospiel-Speedrunning und beim maschinellen Lernen; das verlinkte vollständige Paper selbst ist nicht enthalten. Die Übersicht behandelt die Frage, wie sich künftige Leistungsverbesserungen vorhersagen lassen. Das sei für KI-Prognosen wichtig, aber schwierig: Benchmarks verwenden unterschiedliche Messgrößen, und selbst lang laufende Reihen umfassen laut Text oft nur ungefähr ein Dutzend Verbesserungen.

Als datenreiches Untersuchungsfeld wählt der Autor Ege Erdil Weltrekorde in 25 Speedrunning-Kategorien. Grundlage sind Daten von speedrun.com. Die Abfolge der Rekorde zeige ein auffällig gutes Muster, das einer Potenzgesetz-Beziehung entspricht. Darauf aufbauend entwickelt die Studie laut Übersicht ein Zufallseffektmodell, das die Größe aufeinanderfolgender Rekordverbesserungen schätzt. Es schneide deutlich besser ab als eine einfache Vorhersage, nach der es keine Verbesserung gibt, und erreiche eine ähnliche Leistung wie ein Modell, das nachträglich an den gesamten Datensatz angepasst wurde. Zusammen mit einem einfachen Modell für den Zeitpunkt neuer Rekorde löse der Ansatz demnach auch ein zuvor offenes Prognoseproblem: neue Rekorde über einen festgelegten Zeitraum vorherzusagen und dabei die Vorhersage „keine Verbesserung“ zu übertreffen.

Anschließend überträgt die Studie den Ansatz auf Benchmarks des maschinellen Lernens. Dort fehlen lange, vergleichbare Zeitreihen. Deshalb sieht die Übersicht keine definitive Evidenz dafür, dass die Verbesserungen bei diesen Benchmarks einem abklingenden Potenzgesetz folgen. Das Modell verbessere jedoch die Vorhersage gegenüber einer konstanten Basisprognose.

Unter der Annahme, dass ein solches Potenzgesetz gilt, leitet die Studie zwei vorsichtige Deutungen ab: Die untersuchten Benchmarks seien demnach nicht nahe an einer Sättigung; ihre Verbesserungen seien stärker als jene, die nahe der nicht weiter unterschreitbaren Verlustgrenze zu erwarten wären. Außerdem seien sehr große Sprünge selten, aber nicht ausgeschlossen: Verbesserungen, die mehr als zehnmal so groß sind wie jüngste Verbesserungen, träten der Modellschätzung zufolge etwa einmal in fünfzig Fällen auf.

Die Übersicht beschreibt die Befunde insgesamt als vorläufig und als Grundlage für weitere Forschung. Ihre Aussagen zu maschinellem Lernen sind durch den Mangel an Langzeitdaten und teilweise durch die angenommene Potenzgesetz-Form eingeschränkt; die Website-Zusammenfassung liefert keine weiteren Details zu Datenauswahl, Modellprüfung oder Unsicherheitsintervallen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Tempo und Grenzen
  1. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 30 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 37 %gleiches Oberthema, hilft nicht
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 32 %Hintergrund, keine Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →