Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch16. August 2024 · Q006374

The length of time spent training notable models is growing

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Epoch AI zufolge ist die Trainingsdauer bemerkenswerter Modelle seit 2010 im Schnitt jährlich um den Faktor 1,2 gewachsen; Fine-Tuning-Modelle sind ausgeschlossen. Eine Fortsetzung könnte Hardware entlasten, doch bei sehr langen Läufen kann das Warten auf bessere Algorithmen oder Chips günstiger sein. Die Methodik bleibt im Auszug offen, und die Tabelle enthält Einträge bis 2025 trotz eines Änderungsdatums von 2024.

Mittel

Epoch AI berichtet, dass die Trainingsdauer bemerkenswerter Modelle seit 2010 jährlich im Mittel um den Faktor 1,2 gestiegen sei. Fine-Tuning-Modelle, die aus Basismodellen hervorgehen, seien ausgeschlossen. Eine umfangreiche Tabelle führt Modelle aus mehreren Fachgebieten mit Trainingsdauer, teils verfügbarem Rechenaufwand, Organisation und Veröffentlichungsdatum auf.

Eine Fortsetzung des Trends könnte laut Epoch AI mehr Trainingsrechenleistung ermöglichen, ohne dafür zusätzliche Chips oder Strom zu benötigen. Der Bericht stellt dem einen Zielkonflikt gegenüber: Bei sehr langen Läufen könne das Warten auf bessere Algorithmen oder Hardware vorteilhafter sein. Das sind eine bedingte Einschätzung und eine Projektion, keine garantierten Folgen. Die Methode zur Berechnung des Trends wird im Auszug nicht näher erklärt. Auffällig ist außerdem, dass die Tabelle Daten bis 2025 enthält, obwohl die Metadaten eine letzte Änderung im August 2024 nennen; zudem ist die Tabelle doppelt enthalten.

Ausführlich lesen

Der Bericht von Epoch AI behandelt die Entwicklung der Trainingsdauer veröffentlichter, als bemerkenswert eingestufter Modelle. Seine zentrale Aussage lautet, dass die Trainingsläufe dieser Modelle seit 2010 im Mittel jährlich um den Faktor 1,2 länger geworden seien. Aus der betrachteten Gruppe ausgeschlossen werden laut Bericht Modelle, die durch Fine-Tuning eines Basismodells entstanden sind. Eine Abbildung und eine Tabelle führen Trainingsdauer, geschätzten Rechenaufwand, Fachgebiet, Organisation und Veröffentlichungsdatum für zahlreiche Modelle auf. Die Daten reichen über verschiedene Bereiche wie Sprache, Bildverarbeitung, Spiele, Biologie, Audio und Robotik. Für manche Modelle ist der Rechenaufwand als nicht verfügbar markiert.

Epoch AI folgert, dass eine Fortsetzung des Trends Hardwarebeschränkungen teilweise entschärfen könnte: Mehr Rechenarbeit ließe sich dann durch längere Trainingsläufe erledigen, ohne zusätzliche Chips oder mehr Strom einzusetzen. Das ist eine bedingte Projektion, kein im Bericht nachgewiesenes Ergebnis für die Zukunft. Zugleich verweist der Text auf einen Zielkonflikt: Bei sehr langen Trainingsläufen könnte es vorteilhafter sein, auf spätere Verbesserungen bei Algorithmen und Hardware zu warten, statt das aktuelle Training weiterlaufen zu lassen.

Die Aussage bezieht sich auf die von Epoch AI erfassten bemerkenswerten Modelle und ist nicht als Behauptung über sämtliche KI-Trainingsläufe formuliert. Der bereitgestellte Text beschreibt keine ausführliche Erhebungs- oder Auswertungsmethode und erläutert nicht, wie die Jahresrate berechnet wurde. Außerdem passen die Datumsangaben im Auszug nicht vollständig zu seinen Metadaten: Die Seite ist mit einer letzten Änderung im August 2024 versehen, doch die Tabelle enthält Modelle mit Veröffentlichungsdaten bis Juli 2025. Die Tabelle wird im Quelltext zudem wiederholt. Diese Auffälligkeiten lassen sich anhand des bereitgestellten Materials nicht auflösen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 26 %Hintergrund, keine Belege
    • Luna 40 %Hintergrund, keine Belege
    • JEV 41 %gleiches Oberthema, hilft nicht
    • amos 26 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 30 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 25 %Hintergrund, keine Belege
    • Luna 54 %Hintergrund, keine Belege
    • JEV 24 %gleiches Oberthema, hilft nicht
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 35 %gleiches Oberthema, hilft nicht
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 71 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 33 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →