Grokking “Forecasting TAI with biological anchors”
Zusammenfassung
Kurz
Der Bericht erklärt Cotras Prognosemodell für transformative KI, das den nötigen Rechenaufwand anhand mehrerer biologischer Anker schätzt und ihn mit Annahmen zu künftigen Kosten und Ausgaben verbindet. Das Modell veranschlagt rund 8 Prozent Wahrscheinlichkeit für TAI vor 2030, 47 Prozent vor 2050 und 78 Prozent vor 2100, ist laut Bericht aber durch unsichere Anker, Lernhorizonte und Zukunftstrends stark begrenzt.
Mittel
Anson Hos fasst Ajeya Cotras Entwurf von 2020 zur Prognose transformativer KI (TAI) zusammen. Cotra behandelt Rechenleistung als möglichen zentralen Engpass und zerlegt die Frage nach dem Zeitpunkt in den nötigen Trainingsaufwand und dessen künftige Bezahlbarkeit.
Den erforderlichen Aufwand schätzt sie anhand biologischer Anker: Evolution, Gehirnentwicklung über ein Menschenleben, drei neuronale Netzwerk-Annahmen mit unterschiedlich langen Lernhorizonten und die Zahl der Bytes im menschlichen Genom. Diese Ansätze erhalten zusammen 90 Prozent Gewicht; weitere 10 Prozent stehen für die Möglichkeit, dass alle Anker den Bedarf unterschätzen. Als größte Unsicherheit gilt, wie viel Erfahrung ein Modell für verlässliches Lernen benötigt.
Die Bezahlbarkeit wird anhand angenommener Trends bei algorithmischer Effizienz, Rechenpreisen und Ausgaben für KI-Training projiziert. Das kombinierte Modell ergibt etwa 8 Prozent Wahrscheinlichkeit für TAI vor 2030, 47 Prozent vor 2050 und 78 Prozent vor 2100. Cotra nennt 2050 als Median, nicht als präzisen Termin.
Der Bericht betont die Grenzen: Die Anker sind unsichere Analogien, Rechenausgaben-Trends könnten sich ändern, und Rechenleistung muss nicht dauerhaft der wichtigste Engpass sein. Regulierung könnte frühe Entwicklung bremsen; neue Wege zu TAI könnten langfristige Prognosen dagegen zu pessimistisch machen.
Ausführlich lesen
Der bereitgestellte Bericht ist Anson Hos anschauliche Zusammenfassung eines Entwurfs von Ajeya Cotra aus dem Jahr 2020 zur Frage, wann transformative KI (TAI) entstehen könnte. Er erklärt die Grundannahmen und Ergebnisse des sogenannten Ansatzes der biologischen Anker. Die zugrunde liegende Idee: Rechenleistung ist ein zentraler Engpass beim Training eines einzelnen KI-Modells, dessen Wirkung der industriellen Revolution gleichkäme. Die Prognose wird daher in zwei Fragen zerlegt: Wie viel Rechenaufwand wäre mit den 2020 verfügbaren Algorithmen und Architekturen nötig, und wann könnte ein Entwicklungsprojekt diesen Aufwand bezahlen?
Für den schwerer einzuschätzenden Trainingsaufwand nimmt Cotra das menschliche Gehirn als Referenz dafür, dass allgemeine Intelligenz möglich ist. Weil sich „Rechenaufwand zum Training des Gehirns“ unterschiedlich auslegen lässt, verwendet das Modell mehrere Anker: die Rechenarbeit der Evolution seit den ersten Nervenzellen, die Gehirnaktivität während der menschlichen Entwicklung bis zum Erwachsenenalter, drei neuronale Netzwerk-Anker mit unterschiedlich langen effektiven Lernhorizonten sowie einen Genom-Anker. Der effektive Horizont bezeichnet grob, wie viel Erfahrung nötig ist, um festzustellen, ob eine Veränderung am Modell seine Leistung verbessert. Für alle Anker zusammen setzt Cotra eine Wahrscheinlichkeit von 90 Prozent an; die übrigen 10 Prozent berücksichtigen die Möglichkeit, dass sämtliche Anker den Bedarf erheblich unterschätzen.
Der Artikel nennt für die Evolution einen Median von etwa 10^41 FLOP bei 10 Prozent Gewicht und für den Lebenszeit-Anker etwa 10^28 FLOP bei 5 Prozent. Die drei Netzwerk-Anker liegen bei kurzen, mittleren und langen Horizonten ungefähr bei 10^32, 3 × 10^34 und 10^37 FLOP; sie erhalten Gewichte von 15, 30 und 20 Prozent. Der Genom-Anker kommt auf einen Median von rund 10^33 FLOP und 10 Prozent Gewicht. Diese Werte sind Schätzungen innerhalb des Modells, keine direkt gemessenen Anforderungen.
Für die Bezahlbarkeit betrachtet Cotra angenommene Trends bei algorithmischer Effizienz, sinkenden Rechenpreisen und der Bereitschaft, Geld für Trainingsläufe auszugeben. Der Artikel nennt als Modellannahmen unter anderem eine Verdopplung der Effizienz alle zwei bis drei Jahre, halbierte Rechenkosten etwa alle zweieinhalb Jahre und eine Ausgabenobergrenze von einem Prozent des BIP des größten Landes. Die Projektionen reichen von 2025 bis 2100. Ho weist darauf hin, dass solche Trends nicht zuverlässig weit in die Zukunft fortgeschrieben werden können; zudem habe eine frühere Schätzung zum Wachstum der KI-Rechenleistung den Verlauf zu optimistisch dargestellt.
Zusammengeführt ergibt Cotras Modell ungefähr 8 Prozent Wahrscheinlichkeit für TAI vor 2030, 47 Prozent vor 2050 und 78 Prozent vor 2100. Als zusammenfassenden Median nennt sie das Jahr 2050 und betont damit keine punktgenaue Vorhersage. Als zentrale Grenzen nennt der Bericht die enorme Unsicherheit über den passenden effektiven Horizont, die fragliche Eignung biologischer Anker und die Annahme, Rechenleistung sei der maßgebliche Engpass. Auch mögliche neue technische Ansätze und externe Hindernisse werden nicht abgebildet. Cotra zufolge könnte das Modell kurze Fristen überschätzen, etwa weil Regulierung unvorhergesehen bremst, und lange Fristen unterschätzen, weil andere Wege zu TAI entstehen könnten. Der Text versteht die Arbeit als detaillierten frühen Prognoserahmen, dessen offene Fragen weiter untersucht werden müssen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassungen von Luna sind inhaltlich weitgehend treu; der Name des Autors ist falsch geschrieben (Anson Hos statt Anson Ho). Bei der Einordnung sind alle drei Sammelfragen nur am Rande mit dem Thema verwandt; Teilfragen wurden keine angegeben.
Im Bericht, aber nicht in der Zusammenfassung
- Die Gewichtung der einzelnen Anker (Evolution 10 %, Lebenszeit 5 %, neuronale Netzwerk-Anker 65 %, Genom 10 %)
- Der Hinweis, dass Cotras Bericht ein über 200 Seiten langer Entwurf ist
- Die Kritik von Epoch AI, dass der Trend aus AI and Compute zu aggressiv war
- Die Annahme, dass Rechenausgaben nach 2025 mit einer Verdopplungszeit von 2 Jahren wachsen und bei 1 % des BIP des größten Landes gedeckelt sind
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 56 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 40 %gleiches Oberthema, hilft nicht
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 61 %Hintergrund, keine Belege
- JEV 51 %gleiches Oberthema, hilft nicht
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 60 %gleiches Oberthema, hilft nicht
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 29 %Hintergrund, keine Belege
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 69 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 41 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv