Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch16. Februar 2022 · Q003996

Compute trends across three eras of machine learning

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI schätzt anhand von über 120 ausgewählten ML-Systemen, dass sich der Trainingsaufwand seit Beginn der Deep-Learning-Ära etwa alle sechs Monate verdoppelte und seit 2010 insgesamt um den Faktor zehn Milliarden stieg. Der Bericht unterscheidet drei Entwicklungsphasen, betont aber, dass besonders die Abgrenzung großskaliger Systeme vorläufig und wegen fehlender Trainings- und Hardwaredaten unsicher ist.

Mittel

Epoch AI untersucht den Trainingsaufwand von mehr als 120 ausgewählten Meilenstein-Systemen des maschinellen Lernens. Schätzungen beruhen entweder auf gezählten Rechenoperationen oder auf Trainingsdauer und Hardware. Häufig fehlten wichtige Angaben; insbesondere beruhen GPU-Zeitschätzungen teils auf Annahmen. Erfasst wurde nur der abschließende Trainingslauf, und die Auswahl der Systeme war teilweise subjektiv.

Der Bericht schätzt, dass sich der Trainingsaufwand im Gesamttrend etwa alle sechs Monate verdoppelte. Eine frühere Studie kam auf 3,4 Monate. Seit 2010 sei der Aufwand laut Bericht um den Faktor zehn Milliarden gewachsen. Epoch AI unterscheidet drei Phasen: vor Deep Learning eine Verdopplung etwa alle 20 Monate, in der Deep-Learning-Phase etwa alle sechs Monate und bei großskaligen Modellen seit ungefähr 2015/16 etwa alle zehn Monate. Letztere hätten zwei bis drei Größenordnungen mehr Trainingsaufwand als vergleichbare Systeme.

Die Einteilung in drei Phasen, besonders die separate großskalige Entwicklung, sei teilweise spekulativ. Unterschiedliche Schwellenwerte änderten das Muster wenig, doch Grenzziehung und Belastbarkeit blieben wegen begrenzter Daten unsicher. Der Bericht fordert bessere Trainings- und Hardwareangaben sowie weitere Forschung zu Daten und Rechenaufwand.

Ausführlich lesen

Der Bericht untersucht, wie sich der Rechenaufwand für das Training wichtiger maschineller Lernsysteme seit 1950 entwickelt hat. Epoch AI stellt dafür eine Datenbank mit mehr als 120 ausgewählten Meilenstein-Systemen zusammen. Die zentrale These lautet, dass der Trainingsaufwand stark gewachsen ist, sich die Entwicklung aber langsamer beschleunigt hat als eine frühere Studie nahelegte. Außerdem schlägt der Bericht vor, die Geschichte in drei Phasen einzuteilen.

Für die Schätzungen nutzten die Forschenden zwei Verfahren: Sie zählten Rechenoperationen anhand von Modell und Trainingsablauf oder leiteten den Aufwand aus Trainingsdauer und verwendeter Hardware ab. Die zweite Methode erfordert Annahmen und ist daher unsicherer. Häufig fehlten Angaben zu Hardware und Trainingszeit. Erfasst wurde jeweils der abschließende Trainingslauf eines Systems; der Rechenaufwand für vorherige Experimente ließ sich mangels Informationen nicht zuverlässig bestimmen. Die Auswahl beschränkte sich auf Systeme, die als einflussreich, relevant und gegenüber anderen Arbeiten eigenständig galten. Die Kriterien sind laut Bericht teilweise mehrdeutig und wurden in Einzelfällen subjektiv angewendet.

Auf Basis der Daten schätzt der Bericht, dass sich der Trainingsaufwand im betrachteten Gesamttrend etwa alle sechs Monate verdoppelte. Eine frühere Untersuchung hatte eine Verdopplung alle 3,4 Monate berichtet. Der Bericht führt den Unterschied vor allem auf die größere Datengrundlage zurück und merkt an, frühere Analysen könnten dadurch die Geschwindigkeit der Entwicklung ungefähr um den Faktor zwei überschätzt haben. Trotz des langsameren Tempos sei der Trainingsaufwand seit 2010 um den Faktor zehn Milliarden gestiegen und damit deutlich schneller als eine einfache Fortschreibung des Moore’schen Gesetzes.

Die vorgeschlagene Einteilung umfasst drei Phasen: Vor dem Deep Learning habe sich der Trainingsaufwand ungefähr alle 20 Monate verdoppelt. Die Deep-Learning-Phase beginne etwa zwischen 2010 und 2012 und weise eine Verdopplungszeit von rund sechs Monaten auf. Zwischen 2015 und 2016 könnten zusätzlich großskalige Systeme aus dieser Entwicklungslinie herausgetreten sein. Der Bericht beschreibt sie als überwiegend von großen Unternehmen entwickelte Modelle, deren Trainingsaufwand zwei bis drei Größenordnungen über dem vergleichbarer Systeme des jeweiligen Jahres liege. Für diese Gruppe wird eine langsamere Verdopplungszeit von etwa zehn Monaten geschätzt.

Die Deutung als eigene dritte Phase bezeichnet der Bericht selbst als spekulativer. Die Abgrenzung großskaliger Modelle sei nicht eindeutig, und es lasse sich nicht sicher ausschließen, dass das Muster auf Rauschen beruhe. Verschiedene statistische Schwellenwerte änderten den beobachteten Trend zwar nur wenig; der genaue Grenzwert bleibe jedoch umstritten, und mehr Daten seien nötig, um die Ergebnisse abzusichern. Als nächste Schritte nennt der Bericht bessere Datenerhebung, automatisierte Messverfahren, die Veröffentlichung von Hardware- und Trainingsangaben sowie Untersuchungen zu Datensatzgrößen und zum Zusammenspiel von Rechenaufwand, Daten, Finanzierung und Fachkräften. Die Daten und eine aktualisierte interaktive Visualisierung werden als öffentlich verfügbar beschrieben; die Abbildung im vorliegenden Text verweist auf eine separate Bilddatei.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassungen wurden gemeinsam geprüft, da der Auftrag nur ein Ergebnisfeld vorsieht. Die Einordnung stützt sich nur auf den Berichtstext, nicht auf die Anteilswerte oder Stufen, die Luna angegeben hat.

Im Bericht, aber nicht in der Zusammenfassung

  • Die frühere Studie von Amodei und Hernandez (2018) wird als zu schnell eingestuft, ihre Analysen seien etwa um den Faktor zwei verzerrt gewesen.
  • Der Beginn der Deep-Learning-Ära wird zwischen 2010 und 2012 datiert, mit AlexNet als gängigem, aber nicht eindeutigem Startpunkt.
  • Der Bericht leitet daraus Folgerungen für Governance und den sicheren Umgang mit leistungsstarken KI-Systemen ab.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 55 %Hintergrund, keine Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

    • SF-F2-T03 Ein Minister beschreibt Risiken durch Spionage und Datenabfluss, etwa über quelloffene KI-Agentenwerkzeuge, und durch ein Ungleichgewicht in der technologischen Entwicklung, das Monopole und Technologiebeschränkungen verschärfen. Welche veröffentlichten Belege würden diese Risiken an der Fähigkeit eines Modells statt an seiner Herkunft festmachen? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 26 %Hintergrund, keine Belege
    • Luna 65 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 47 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-P3-T05 Welches Mindestpaket (Datenverzeichnisse, Code, Zufallsstartwerte, Abbilder der Rechenumgebung, Prüferversionen, Fehlerprotokolle und Annahmen über die Hardware) muss ein Labor sichern oder kontrolliert hinterlegen, damit ein Prüfer ein sicherheitskritisches Trainings- oder Prüfergebnis auch nach Ende seines Zugangs nachrechnen kann, und welche Geheimnisse bleiben unzugänglich? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 25 %Hintergrund, keine Belege
    • Luna 57 %einzelne zitierbare Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 32 %einzelne zitierbare Belege
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 23 %einzelne zitierbare Belege
    • d3-ultra 31 %einzelne zitierbare Belege
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät? Luna: Stufe 3 · 46 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 32 %Hintergrund, keine Belege
    • Luna 55 %Hintergrund, keine Belege
    • JEV 40 %Hintergrund, keine Belege
    • amos 32 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 44 %gleiches Oberthema, hilft nicht

    • SF-T1-T01 Welche messbaren, maschinell prüfbaren Fähigkeitsschwellen sollen Labore veröffentlichen, die vor dem Einsatz von Agentensystemen eine verpflichtende Pause und eine Prüfung von außen auslösen, abgestimmt über alle Labore hinweg? Wer führt das Register, und wo soll die Gesellschaft die verbindliche Sicherheitsgrenze für weitere Steigerungen der Fähigkeiten ziehen? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
    • SF-T1-T02 Welche messbaren Schwellen halten die weitere Skalierung von KI-Modellen automatisch an, wer prüft sie, und wie bleiben diese Auslöser bindend, wenn der Wettbewerb drückt? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 30 %Hintergrund, keine Belege
    • Luna 67 %Hintergrund, keine Belege
    • JEV 28 %gleiches Oberthema, hilft nicht
    • amos 31 %Hintergrund, keine Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 46 %gleiches Oberthema, hilft nicht

    • SF-T2-T01 Welche öffentliche, nachprüfbare Handlung würde als Verzicht auf weitere Skalierung zählen, nicht nur eine Ankündigung? Was müsste ein Labor veröffentlichen, damit eine rivalisierende Regierung bestätigen kann, dass wirklich pausiert wurde, und welche nachträglichen Belege würden zeigen, dass keine Fähigkeitszuwächse zurückgehalten wurden, etwa durch nicht offengelegte Änderungen an Rechenleistung beim Einsatz oder Werkzeugzugang oder durch einen nicht offengelegten Austausch von Modellen? Luna: Stufe 3 · 44 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 28 %Hintergrund, keine Belege
    • Luna 58 %Hintergrund, keine Belege
    • JEV 48 %Hintergrund, keine Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 62 %gleiches Oberthema, hilft nicht

Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 28 %Hintergrund, keine Belege
    • Luna 88 %Hintergrund, keine Belege
    • JEV 49 %Hintergrund, keine Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 62 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 66 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

  3. SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
    • clef 100 %kein Bezug
    • Luna 84 %Hintergrund, keine Belege
    • JEV 33 %Hintergrund, keine Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 72 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 52 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht

Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 49 %nur am Rande erwähnt
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

    • SF-E1-T04 Wie bekommen Staaten, in denen kein Spitzenlabor sitzt, einen echten Platz beim Setzen internationaler technischer KI-Normen, damit KI in der Praxis ein gemeinsames Gut bleibt und nicht nur wenige Regierungen und Firmen die Regeln schreiben? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 54 %nur am Rande erwähnt
    • amos 28 %Hintergrund, keine Belege
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
  3. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 41 %nur am Rande erwähnt
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 77 %Hintergrund, keine Belege
    • JEV 40 %Hintergrund, keine Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht

    • SF-E4-T02 Welche konkreten Mechanismen (bezahlbarer Zugang zu Modellen, Rechenleistung im öffentlichen Interesse, Technologietransfer) sollen Sicherheitsregeln begleiten, damit sie Monopole nicht vertiefen und Länder mit wenig Mitteln nicht abhängig zurücklassen? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
  5. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 65 %Hintergrund, keine Belege
    • JEV 46 %nur am Rande erwähnt
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 65 %gleiches Oberthema, hilft nicht
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra 61 %gleiches Oberthema, hilft nicht

Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →