Biology AI models are scaling 2-4x per year after rapid growth from 2019-2021
Zusammenfassung
Kurz
Epoch AI zufolge stieg der Rechenaufwand führender biologischer KI-Modelle 2019–2021 besonders schnell und wächst seitdem ungefähr zwei- bis vierfach pro Jahr. Die Analyse betrachtet jeweils die vier rechenintensivsten Protein-Sprachmodelle und spezialisierten Modelle; ihre Schätzungen haben breite Konfidenzintervalle und gelten nicht automatisch für alle Modelle.
Mittel
Epoch AI berichtet, dass der Trainingsrechenaufwand führender KI-Modelle für biologische Daten nach starkem Wachstum von 2019 bis 2021 langsamer zugenommen habe: Seit 2021 liege der Anstieg bei etwa dem Zwei- bis Vierfachen pro Jahr. Protein-Sprachmodelle wie ESM und Evo 2 lernen biologische Sequenzen; spezialisierte Modelle wie AlphaFold bearbeiten gezielte Vorhersagen. Laut Bericht beanspruchen Protein-Sprachmodelle ungefähr zehnmal mehr Trainingsrechenaufwand als spezialisierte biologische Modelle, liegen aber noch rund hundertfach unter heutigen führenden Sprachmodellen.
Für die Analyse wählte Epoch je Modellgruppe fortlaufend die vier rechenintensivsten Modelle aus. Die Trendlinien wurden als log-lineare Fits ermittelt, mit und ohne möglichen Wechselpunkt. Die angegebenen besten Fits betragen 3,70 für Protein-Sprachmodelle und 2,24 für spezialisierte Modelle. Die 90-Prozent-Konfidenzintervalle sind breit: 1,98–6,03 beziehungsweise 1,14–7,36. Die Ergebnisse beziehen sich somit auf ausgewählte Spitzenmodelle; die Unsicherheit ist beträchtlich und die beiden Gruppen unterscheiden sich in Architektur, Daten und Rechenbedarf.
Ausführlich lesen
Der Bericht von Epoch AI untersucht, wie sich der Trainingsrechenaufwand großer KI-Modelle für biologische Daten entwickelt hat. Seine zentrale Aussage: Nach einem besonders schnellen Anstieg zwischen 2019 und 2021 wächst der Rechenaufwand seitdem langsamer, laut Bericht etwa um das Zwei- bis Vierfache pro Jahr. Für 2018 bis 2021 nennt Epoch einen Zuwachs um den Faktor 1.000 bis 10.000; seit 2021 sei er um den Faktor 10 bis 100 gestiegen.
Epoch unterscheidet zwei Modellgruppen. Protein-Sprachmodelle wie ProGen, ESM und Evo 2 lernen Muster in biologischen Sequenzen und können daraus unter anderem für verschiedene Aufgaben nutzbare Repräsentationen erzeugen. Spezialisierte Modelle wie AlphaFold sind dagegen auf bestimmte Vorhersagen ausgelegt, etwa Proteinstrukturen oder Mutationseffekte. Der Bericht gibt an, dass Protein-Sprachmodelle ungefähr zehnmal mehr Trainingsrechenaufwand benötigen als spezialisierte biologische Modelle. Zugleich lägen sie noch etwa um den Faktor 100 hinter heutigen führenden Sprachmodellen, deren Training laut Text mehr als 10²⁶ FLOP beansprucht.
Für den Vergleich nutzt Epoch eine Datensammlung biologischer KI-Modelle. Die aufgeführten Beispiele reichen bei Protein-Sprachmodellen von UniRep aus dem Jahr 2019 bis Evo 2 40B von Februar 2025; bei spezialisierten Modellen unter anderem von SPIDER2 aus 2016 bis AlphaFold 3 aus 2024. Die Tabelle weist den Modellen Datum, Kategorie und logarithmierten FLOP-Wert zu. Um jeweils die Entwicklung an der Spitze zu betrachten, wählte Epoch für jede Gruppe fortlaufend die vier Modelle mit dem höchsten Trainingsrechenaufwand aus.
Die Trendlinien beruhen laut Beschreibung auf dem jeweils besten Gesamtfit: Epoch verglich log-lineare Modelle mit einem möglichen Wechselpunkt zwischen zwei Abschnitten mit einem Modell ohne Wechselpunkt. Die Tabelle nennt für Protein-Sprachmodelle einen besten Fit von 3,70 und ein 90-Prozent-Konfidenzintervall von 1,98 bis 6,03; für spezialisierte Modelle beträgt der Fit 2,24, das Intervall reicht von 1,14 bis 7,36. Diese Intervalle sind breit und machen die Unsicherheit der Schätzungen sichtbar. Der Bericht beschreibt damit Trends unter den ausgewählten Spitzenmodellen; er belegt nicht, dass alle biologischen KI-Modelle gleich schnell wachsen. Er weist außerdem darauf hin, dass sich die Modellgruppen in Architektur, Datenarten und Rechenbedarf unterscheiden und deshalb getrennt ausgewertet werden.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassungen (kurz und mittel) wurden gemeinsam bewertet, da das Schema nur ein Ergebnis vorsieht; beide geben die Kernaussagen korrekt wieder, lassen aber die Wachstumsfaktoren 2018–2021 und seit 2021 sowie die Frontier-Größenordnung aus. Die Anteilswerte in Lunas Einordnung sind im Schema nicht vorgesehen und wurden nicht bewertet; die Teilfragen-Liste war leer, daher gibt es dazu keine Bewertung.
Im Bericht, aber nicht in der Zusammenfassung
- Trainingsrechenaufwand für diese Modelle stieg 2018–2021 um etwa 1.000- bis 10.000-fach und seit 2021 nur um etwa 10- bis 100-fach
- Frontier-Sprachmodelle werden bereits mit über 1e26 FLOP trainiert
- Die Protein-Sprachmodelle verbrauchen rund zehnmal mehr Rechenaufwand als spezialisierte Modelle und liegen dennoch etwa hundertfach hinter den führenden Sprachmodellen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- clef 30 %Hintergrund, keine Belege
- Luna 67 %Hintergrund, keine Belege
- JEV 41 %gleiches Oberthema, hilft nicht
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 60 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 24 %Hintergrund, keine Belege
- Luna 76 %Hintergrund, keine Belege
- JEV 40 %gleiches Oberthema, hilft nicht
- amos 26 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 27 %gleiches Oberthema, hilft nicht
- d3-ultra 60 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 32 %einzelne zitierbare Belege
- amos 30 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 43 %gleiches Oberthema, hilft nicht
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 56 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 32 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 40 %Hintergrund, keine Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv