The length of time spent training notable models is growing
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Epoch AI zufolge ist die Trainingsdauer bemerkenswerter Modelle seit 2010 im Schnitt jährlich um den Faktor 1,2 gewachsen; Fine-Tuning-Modelle sind ausgeschlossen. Eine Fortsetzung könnte Hardware entlasten, doch bei sehr langen Läufen kann das Warten auf bessere Algorithmen oder Chips günstiger sein. Die Methodik bleibt im Auszug offen, und die Tabelle enthält Einträge bis 2025 trotz eines Änderungsdatums von 2024.
Mittel
Epoch AI berichtet, dass die Trainingsdauer bemerkenswerter Modelle seit 2010 jährlich im Mittel um den Faktor 1,2 gestiegen sei. Fine-Tuning-Modelle, die aus Basismodellen hervorgehen, seien ausgeschlossen. Eine umfangreiche Tabelle führt Modelle aus mehreren Fachgebieten mit Trainingsdauer, teils verfügbarem Rechenaufwand, Organisation und Veröffentlichungsdatum auf.
Eine Fortsetzung des Trends könnte laut Epoch AI mehr Trainingsrechenleistung ermöglichen, ohne dafür zusätzliche Chips oder Strom zu benötigen. Der Bericht stellt dem einen Zielkonflikt gegenüber: Bei sehr langen Läufen könne das Warten auf bessere Algorithmen oder Hardware vorteilhafter sein. Das sind eine bedingte Einschätzung und eine Projektion, keine garantierten Folgen. Die Methode zur Berechnung des Trends wird im Auszug nicht näher erklärt. Auffällig ist außerdem, dass die Tabelle Daten bis 2025 enthält, obwohl die Metadaten eine letzte Änderung im August 2024 nennen; zudem ist die Tabelle doppelt enthalten.
Ausführlich lesen
Der Bericht von Epoch AI behandelt die Entwicklung der Trainingsdauer veröffentlichter, als bemerkenswert eingestufter Modelle. Seine zentrale Aussage lautet, dass die Trainingsläufe dieser Modelle seit 2010 im Mittel jährlich um den Faktor 1,2 länger geworden seien. Aus der betrachteten Gruppe ausgeschlossen werden laut Bericht Modelle, die durch Fine-Tuning eines Basismodells entstanden sind. Eine Abbildung und eine Tabelle führen Trainingsdauer, geschätzten Rechenaufwand, Fachgebiet, Organisation und Veröffentlichungsdatum für zahlreiche Modelle auf. Die Daten reichen über verschiedene Bereiche wie Sprache, Bildverarbeitung, Spiele, Biologie, Audio und Robotik. Für manche Modelle ist der Rechenaufwand als nicht verfügbar markiert.
Epoch AI folgert, dass eine Fortsetzung des Trends Hardwarebeschränkungen teilweise entschärfen könnte: Mehr Rechenarbeit ließe sich dann durch längere Trainingsläufe erledigen, ohne zusätzliche Chips oder mehr Strom einzusetzen. Das ist eine bedingte Projektion, kein im Bericht nachgewiesenes Ergebnis für die Zukunft. Zugleich verweist der Text auf einen Zielkonflikt: Bei sehr langen Trainingsläufen könnte es vorteilhafter sein, auf spätere Verbesserungen bei Algorithmen und Hardware zu warten, statt das aktuelle Training weiterlaufen zu lassen.
Die Aussage bezieht sich auf die von Epoch AI erfassten bemerkenswerten Modelle und ist nicht als Behauptung über sämtliche KI-Trainingsläufe formuliert. Der bereitgestellte Text beschreibt keine ausführliche Erhebungs- oder Auswertungsmethode und erläutert nicht, wie die Jahresrate berechnet wurde. Außerdem passen die Datumsangaben im Auszug nicht vollständig zu seinen Metadaten: Die Seite ist mit einer letzten Änderung im August 2024 versehen, doch die Tabelle enthält Modelle mit Veröffentlichungsdaten bis Juli 2025. Die Tabelle wird im Quelltext zudem wiederholt. Diese Auffälligkeiten lassen sich anhand des bereitgestellten Materials nicht auflösen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 26 %Hintergrund, keine Belege
- Luna 40 %Hintergrund, keine Belege
- JEV 41 %gleiches Oberthema, hilft nicht
- amos 26 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 30 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 25 %Hintergrund, keine Belege
- Luna 54 %Hintergrund, keine Belege
- JEV 24 %gleiches Oberthema, hilft nicht
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 46 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 32 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 33 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- Alle Berichte im Archiv