Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai5. Mai 2020 · Q008648

AI and efficiency

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht behauptet, dass der Rechenaufwand für AlexNet-Leistung auf ImageNet von 2012 bis 2019 um den Faktor 44 sank – schneller als die dort angesetzte Hardwareverbesserung nach Moore’s Law. Die Messungen betreffen nur wenige Aufgaben und erfassen vor allem den abschließenden Trainingslauf; wie weit sich die Trends verallgemeinern oder fortsetzen, bleibt offen.

Mittel

Der Bericht vergleicht, wie viel Rechenaufwand nötig ist, um bei KI-Aufgaben ein festgelegtes Leistungsniveau zu erreichen. Für ImageNet geben die Autor:innen an, dass sich der Aufwand für AlexNet-Niveau seit 2012 etwa alle 16 Monate halbiert habe: 2019 sei dafür rund 44-mal weniger Rechenleistung erforderlich gewesen. Nach Moore’s Law entspräche der Hardwarefortschritt im selben Zeitraum etwa einer elfmaligen Verbesserung. Für ResNet-50 nennen sie eine ähnliche Effizienzverdopplung alle 17 Monate. In aufgeführten Übersetzungsvergleichen sank der Trainingsaufwand je nach Leistungsniveau um den Faktor 61 beziehungsweise 9.

Die Analyse beruht vor allem auf Neuimplementierungen und hält die Modellleistung konstant. Die Autor:innen argumentieren, dass effizienteres Training mehr Experimente mit gleichem Zeit- und Geldbudget ermöglicht. Sie schlagen vor, Effizienz-Bestwerte systematischer zu messen und öffentlich zu verfolgen.

Die Ergebnisse beruhen auf wenigen Aufgaben und Messpunkten; ihre Übertragbarkeit ist daher unklar. Erfasst werden vor allem die Kosten des abschließenden Trainingslaufs, nicht alle Entwicklungskosten oder der Fortschritt durch erstmals erreichte Fähigkeiten. Der Bericht sagt keine Fortsetzung der Trends voraus.

Ausführlich lesen

Der Bericht untersucht, wie sich die Recheneffizienz beim Training von KI-Modellen seit 2012 verändert hat. Die Autor:innen definieren algorithmische Effizienz als die Verringerung des Rechenaufwands, der nötig ist, um eine bestimmte Leistung zu erreichen. Für die Bildklassifikation auf ImageNet geben sie an, dass sich der erforderliche Rechenaufwand für AlexNet-Niveau im untersuchten Zeitraum etwa alle 16 Monate halbierte. 2019 sei dafür rund 44-mal weniger Rechenleistung nötig gewesen als 2012. Zum Vergleich: Der Bericht setzt den erwarteten Fortschritt nach Moore’s Law im selben Zeitraum mit einer etwa elffachen Verbesserung an. Für ResNet-50-Niveau nennen die Autor:innen eine ähnliche Entwicklung mit einer Verdopplung der Effizienz etwa alle 17 Monate.

Die Analyse stützt sich vor allem auf öffentlich verfügbare Neuimplementierungen und vergleicht Modelle, die ein festgelegtes Leistungsniveau erreichen. Die Tabellen führen unter anderem ImageNet-Modelle sowie Übersetzungssysteme auf. Demnach sank der Trainingsaufwand für das angegebene Seq2Seq-Leistungsniveau bis zum Transformer um den Faktor 61; für das GNMT-Leistungsniveau wird beim Vergleich mit Transformer Big eine neunfache Verringerung ausgewiesen. Solche Werte beziehen sich auf die jeweiligen Aufgaben und Leistungsstufen. Der Bericht beschreibt Effizienzgewinne als Mittel, mit gleichem Zeit- und Geldbudget mehr Experimente durchführen zu können und damit weitere Forschung zu beschleunigen.

Die Autor:innen unterscheiden diese Messgröße von anderen Indikatoren. Geldkosten hängen etwa auch von Hardware, deren Auslastung und Cloud-Infrastruktur ab. Außerdem seien Stichprobeneffizienz, Trainingsgeschwindigkeit und Inferenzkosten relevant. Als Beispiel für Inferenz nennt der Bericht ShuffleNet: Es habe AlexNet-Leistung mit 18-mal höherer Inferenz-Effizienz erreicht. Die Autor:innen halten es für möglich, dass algorithmische Effizienz bei stark geförderten Aufgaben ähnlich große oder größere Fortschritte als Hardwareeffizienz erzielt. Sie betonen jedoch, dass Hardware- und Algorithmusverbesserungen zusammen betrachtet werden sollten.

Die Aussagekraft ist laut Bericht begrenzt: Es gebe nur wenige Messpunkte und Aufgaben, weshalb unklar sei, wie weit sich die Trends verallgemeinern lassen. Die Analyse beziffere nicht den konzeptionellen Fortschritt, der entsteht, wenn eine zuvor nicht machbare Fähigkeit erstmals erreicht wird. Sie erfasse vor allem die Kosten des abschließenden Trainingslaufs eines optimierten Modells, nicht sämtliche Entwicklungskosten; etwaige Architektur- und Hyperparametersuchen könnten die Gesamtkosten verändern. Auch eine Fortsetzung der beobachteten Trends in die Zukunft wird nicht prognostiziert. Der Bericht schlägt vor, Effizienz-Bestwerte systematischer und öffentlich zu verfolgen, zunächst unter anderem für Bildverarbeitung und Übersetzung, und verweist auf mögliche politische Vorteile präziserer Messungen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Geprüft wurde die Fassung „mittel“; sie ist sachlich korrekt, lässt aber die Politikempfehlung und die Kernaussage zu Aufgaben mit hohem Investment aus. Die Fassung „kurz“ ist ebenfalls korrekt und enthält die Kernaussage zu Moore's Law, nennt aber ebenfalls nicht die Politikempfehlung. Die Einordnung stützt sich allein auf den Bericht; Lunas Anteilsangaben wurden nicht übernommen.

Im Bericht, aber nicht in der Zusammenfassung

  • Kernaussage, dass algorithmische Effizienz bei KI-Aufgaben mit hohem Investment die Hardwareeffizienz übertreffen könnte
  • Empfehlung an die Politik, die Rechenkapazität für die Wissenschaft zu erhöhen, damit Forschung replizieren und erweitern kann
  • Hinweis, dass Hardware- und algorithmische Effizienzgewinne sich multiplizieren und deshalb gemeinsam modelliert werden sollten

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 71 %Hintergrund, keine Belege
    • JEV 23 %gleiches Oberthema, hilft nicht
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 64 %Hintergrund, keine Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
  3. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 51 %einzelne zitierbare Belege
    • JEV 30 %gleiches Oberthema, hilft nicht
    • amos 25 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 46 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät? Luna: Stufe 3 · 44 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 62 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

    • SF-T1-T02 Welche messbaren Schwellen halten die weitere Skalierung von KI-Modellen automatisch an, wer prüft sie, und wie bleiben diese Auslöser bindend, wenn der Wettbewerb drückt? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 48 %einzelne zitierbare Belege
    • JEV 36 %Hintergrund, keine Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV 38 %Hintergrund, keine Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

Modelle teilen und schützen
  1. SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 44 %nur am Rande erwähnt
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-E1-T04 Wie bekommen Staaten, in denen kein Spitzenlabor sitzt, einen echten Platz beim Setzen internationaler technischer KI-Normen, damit KI in der Praxis ein gemeinsames Gut bleibt und nicht nur wenige Regierungen und Firmen die Regeln schreiben? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
  2. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 78 %Hintergrund, keine Belege
    • JEV 47 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-E4-T02 Welche konkreten Mechanismen (bezahlbarer Zugang zu Modellen, Rechenleistung im öffentlichen Interesse, Technologietransfer) sollen Sicherheitsregeln begleiten, damit sie Monopole nicht vertiefen und Länder mit wenig Mitteln nicht abhängig zurücklassen? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
  4. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 35 %Hintergrund, keine Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen? Luna: Stufe 3 · 47 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →