Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch12. Dezember 2022 · Q005209

Revisiting algorithmic progress

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Text ist ein Auszug zu einer Studie, die Fortschritte bei der ImageNet-Klassifikation zu etwa 45 Prozent besserer Rechenleistung, 45 Prozent besseren Algorithmen und 10 Prozent mehr Daten zuschreibt. Die Schätzung des algorithmischen Tempos ist unsicher und hängt bei früheren Vergleichsmethoden stark von der gewählten Leistungsschwelle ab; zudem könnten Modellvorhersagen über ihren Gültigkeitsbereich hinausgehen.

Mittel

Der vorliegende Text ist ein Auszug aus der Übersicht zu einer Studie über Fortschritte bei der ImageNet-Bildklassifikation. Anhand von Daten zu rund hundert Modellen und einer Shapley-Zerlegung schätzen die Autorinnen und Autoren, wie viel Fortschritt auf Algorithmen, Rechenleistung und Daten zurückgeht.

Demnach entfallen ungefähr 45 Prozent auf mehr Rechenleistung, 45 Prozent auf bessere Algorithmen und 10 Prozent auf größere Datensätze. Algorithmische Verbesserungen entsprächen im Mittel einer Verdopplung des effektiven Rechenbudgets alle neun Monate; das 95-Prozent-Konfidenzintervall ist mit vier bis 25 Monaten jedoch breit. Über drei Viertel des algorithmischen Fortschritts sei rechenleistungssteigernd, also ermögliche eine effizientere Nutzung von Compute.

Die Übersicht betont, dass frühere Schätzungen stark von der gewählten Leistungsschwelle abhängen und sich um etwa den Faktor zehn unterscheiden können. Die Studie nutzt Beobachtungsdaten; zudem könnten ihre modellierten Pareto-Fronten über den Gültigkeitsbereich des Modells hinausreichen. Der Auszug enthält keine vollständige Darstellung der Methoden oder der gesamten Arbeit.

Ausführlich lesen

Der vorliegende Text ist ein Auszug aus der Übersicht zu einer Studie über algorithmischen Fortschritt bei der Bildklassifikation auf ImageNet. Er untersucht, welchen Anteil Fortschritte auf bessere Algorithmen, mehr Rechenleistung und größere Datensätze haben. Die Autorinnen und Autoren stützen ihre Analyse auf Daten zu rund hundert Bildverarbeitungsmodellen und ein Modell, das neuronale Skalierungsgesetze berücksichtigt. Mit einer Shapley-Zerlegung schreiben sie Fortschritte zwischen Modellpaaren den jeweiligen Einflussfaktoren zu.

Den Schätzungen zufolge entspricht der Beitrag besserer Algorithmen im Mittel etwa einer Verdopplung des Rechenbudgets alle neun Monate. Die Unsicherheit ist allerdings groß: Das angegebene 95-Prozent-Konfidenzintervall reicht von vier bis 25 Monaten. Die Ergebnisse sind damit mit einer früheren Schätzung vereinbar, nach der sich die effektive Rechenleistung durch algorithmische Verbesserungen etwa alle 16 Monate verdoppelt.

Für die Fortschritte bei der ImageNet-Klassifikation ordnet die Übersicht ungefähr 45 Prozent dem Ausbau der Rechenleistung, 45 Prozent besseren Algorithmen und 10 Prozent größeren Datenmengen zu. Mehr als drei Viertel des algorithmischen Fortschritts sei demnach „compute-augmenting“: Er helfe, vorhandene Rechenleistung wirksamer einzusetzen. Ein kleinerer Anteil wirke vor allem über bessere Nutzung von Daten.

Der Text erklärt auch eine Einschränkung früherer Ansätze, die den Rechenbedarf für ein festgelegtes Leistungsziel vergleichen. Die Ergebnisse hängen stark davon ab, wie leicht oder schwer das gewählte Ziel ist: Bei niedrigen Schwellen kann zusätzliche Rechenleistung frühe Modelle näher ans Ziel bringen; bei sehr hohen Schwellen können algorithmische Verbesserungen fast den gesamten Fortschritt zu erklären scheinen. Laut Übersicht kann die so geschätzte Geschwindigkeit algorithmischen Fortschritts je nach Schwellenwert um etwa den Faktor zehn variieren.

Die Auswertung verwendet Beobachtungsdaten statt eines kontrollierten Experiments. Außerdem sind die dargestellten Pareto-Fronten Vorhersagen eines Modells und könnten über dessen Gültigkeitsbereich hinaus extrapolieren. Da hier nur der Übersichtsabschnitt vorliegt, enthält der Auszug keine ausführliche Beschreibung der Datenauswahl, der Modellierung oder der weiteren Ergebnisse der vollständigen Arbeit.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 33 %Hintergrund, keine Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →