Revisiting algorithmic progress
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der vorliegende Text ist ein Auszug zu einer Studie, die Fortschritte bei der ImageNet-Klassifikation zu etwa 45 Prozent besserer Rechenleistung, 45 Prozent besseren Algorithmen und 10 Prozent mehr Daten zuschreibt. Die Schätzung des algorithmischen Tempos ist unsicher und hängt bei früheren Vergleichsmethoden stark von der gewählten Leistungsschwelle ab; zudem könnten Modellvorhersagen über ihren Gültigkeitsbereich hinausgehen.
Mittel
Der vorliegende Text ist ein Auszug aus der Übersicht zu einer Studie über Fortschritte bei der ImageNet-Bildklassifikation. Anhand von Daten zu rund hundert Modellen und einer Shapley-Zerlegung schätzen die Autorinnen und Autoren, wie viel Fortschritt auf Algorithmen, Rechenleistung und Daten zurückgeht.
Demnach entfallen ungefähr 45 Prozent auf mehr Rechenleistung, 45 Prozent auf bessere Algorithmen und 10 Prozent auf größere Datensätze. Algorithmische Verbesserungen entsprächen im Mittel einer Verdopplung des effektiven Rechenbudgets alle neun Monate; das 95-Prozent-Konfidenzintervall ist mit vier bis 25 Monaten jedoch breit. Über drei Viertel des algorithmischen Fortschritts sei rechenleistungssteigernd, also ermögliche eine effizientere Nutzung von Compute.
Die Übersicht betont, dass frühere Schätzungen stark von der gewählten Leistungsschwelle abhängen und sich um etwa den Faktor zehn unterscheiden können. Die Studie nutzt Beobachtungsdaten; zudem könnten ihre modellierten Pareto-Fronten über den Gültigkeitsbereich des Modells hinausreichen. Der Auszug enthält keine vollständige Darstellung der Methoden oder der gesamten Arbeit.
Ausführlich lesen
Der vorliegende Text ist ein Auszug aus der Übersicht zu einer Studie über algorithmischen Fortschritt bei der Bildklassifikation auf ImageNet. Er untersucht, welchen Anteil Fortschritte auf bessere Algorithmen, mehr Rechenleistung und größere Datensätze haben. Die Autorinnen und Autoren stützen ihre Analyse auf Daten zu rund hundert Bildverarbeitungsmodellen und ein Modell, das neuronale Skalierungsgesetze berücksichtigt. Mit einer Shapley-Zerlegung schreiben sie Fortschritte zwischen Modellpaaren den jeweiligen Einflussfaktoren zu.
Den Schätzungen zufolge entspricht der Beitrag besserer Algorithmen im Mittel etwa einer Verdopplung des Rechenbudgets alle neun Monate. Die Unsicherheit ist allerdings groß: Das angegebene 95-Prozent-Konfidenzintervall reicht von vier bis 25 Monaten. Die Ergebnisse sind damit mit einer früheren Schätzung vereinbar, nach der sich die effektive Rechenleistung durch algorithmische Verbesserungen etwa alle 16 Monate verdoppelt.
Für die Fortschritte bei der ImageNet-Klassifikation ordnet die Übersicht ungefähr 45 Prozent dem Ausbau der Rechenleistung, 45 Prozent besseren Algorithmen und 10 Prozent größeren Datenmengen zu. Mehr als drei Viertel des algorithmischen Fortschritts sei demnach „compute-augmenting“: Er helfe, vorhandene Rechenleistung wirksamer einzusetzen. Ein kleinerer Anteil wirke vor allem über bessere Nutzung von Daten.
Der Text erklärt auch eine Einschränkung früherer Ansätze, die den Rechenbedarf für ein festgelegtes Leistungsziel vergleichen. Die Ergebnisse hängen stark davon ab, wie leicht oder schwer das gewählte Ziel ist: Bei niedrigen Schwellen kann zusätzliche Rechenleistung frühe Modelle näher ans Ziel bringen; bei sehr hohen Schwellen können algorithmische Verbesserungen fast den gesamten Fortschritt zu erklären scheinen. Laut Übersicht kann die so geschätzte Geschwindigkeit algorithmischen Fortschritts je nach Schwellenwert um etwa den Faktor zehn variieren.
Die Auswertung verwendet Beobachtungsdaten statt eines kontrollierten Experiments. Außerdem sind die dargestellten Pareto-Fronten Vorhersagen eines Modells und könnten über dessen Gültigkeitsbereich hinaus extrapolieren. Da hier nur der Übersichtsabschnitt vorliegt, enthält der Auszug keine ausführliche Beschreibung der Datenauswahl, der Modellierung oder der weiteren Ergebnisse der vollständigen Arbeit.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 33 %Hintergrund, keine Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug