Do the returns to software R&D point towards a singularity?
Zusammenfassung
Kurz
Der Bericht findet Hinweise, dass Software-F&E hohe Erträge haben könnte: Stockfish liegt mit einer Schätzung von 0,83 knapp unter der Schwelle für hyperbolisches Wachstum, während andere untersuchte Softwarebereiche unsichere, nicht signifikante Schätzungen oberhalb der Schwelle zeigen. Wegen begrenzter Daten, vereinfachender Modellannahmen und der historischen Abhängigkeit von Hardware sieht der Autor keine starke Evidenz für eine Singularität durch Software allein; schnelles Wachstum aus dem Zusammenspiel von Software und Hardware bleibt möglich.
Mittel
Der Bericht fragt, ob Software-F&E bei automatisierter KI-Forschung überproportionale Fortschritte erzeugen könnte. In einem vereinfachten Modell wäre hyperbolisches Wachstum möglich, wenn mehr Forschungsaufwand zu mehr als proportionalem Forschungsoutput führt. Das Modell setzt jedoch unter anderem voraus, dass KI-Effizienz allein durch kognitive Arbeit steigt; ein hoher Bedarf an Experimenten könnte die Singularitätsaussichten geringer machen.
Die besten Daten untersucht die Studie für die Schachengine Stockfish. Die geschätzten Erträge aus Forschungsaufwand betragen 0,83 bei einem Standardfehler von 0,15: knapp unter der für hyperbolisches Wachstum relevanten Schwelle, aber mit Unsicherheit, die einen höheren Wert nicht ausschließt. Für Computer Vision, SAT-Löser, lineare Programmierung und Reinforcement Learning liegen die medianen Schätzungen über der Schwelle, sind jedoch nicht statistisch signifikant. Diese Analysen beruhen jeweils im Wesentlichen auf einem Datenpunkt; zudem messen einige Kennzahlen Trainings- oder Stichprobeneffizienz und sind daher nur eingeschränkt mit dem Modell vergleichbar.
Der Bericht hält hohe Software-F&E-Erträge für plausibel, bewertet die Daten aber nicht als starke Evidenz für eine Singularität durch Software allein. Software- und Hardwarefortschritt verliefen historisch oft gemeinsam. Rasches Wachstum durch ihr Zusammenwirken bleibt möglich; bessere Daten und Methoden sind nötig.
Ausführlich lesen
Der Bericht untersucht, ob die Erträge aus Softwareforschung und -entwicklung (F&E) groß genug sein könnten, um bei einer weitgehenden Automatisierung der KI-Forschung eine sich selbst beschleunigende, möglicherweise hyperbolische Entwicklung auszulösen. Bisherige KI-Fortschritte führt der Autor auf mehr Rechenleistung und auf Softwareverbesserungen zurück, die vorhandene Rechenleistung effizienter nutzen. Zusammen erhöhen diese Faktoren die für KI-Entwicklung verfügbare „effektive Rechenleistung“.
Für automatisierte KI-F&E unterscheidet der Bericht zwei mögliche Dynamiken: Bei „Foom“ führt mehr Forschungsleistung zu überproportional mehr Forschungsfortschritt, sodass die Entwicklung an Tempo gewinnt. Bei „Fizzle“ fällt der zusätzliche Fortschritt unterproportional aus und das Wachstum verlangsamt sich. In einem vereinfachten Modell mit vollständig automatisierter Forschung und gleichbleibendem Rechenbestand entsteht hyperbolisches Wachstum demnach nur, wenn eine proportionale Steigerung des Forschungsaufwands mehr als proportionale Fortschritte hervorbringt. Der Bericht betont, dass dies ein vereinfachendes Modell ist: Es unterstellt unter anderem, dass Verbesserungen allein durch kognitive Arbeit entstehen. Wenn Experimente weiterhin viel Rechenaufwand erfordern, könnte das Modell die Wahrscheinlichkeit einer Software-Singularität überschätzen. Auch ein wachsender Rechenbestand könnte die Forschungsleistung zusätzlich erhöhen.
Empirisch schätzt die Studie solche Erträge in mehreren Softwarebereichen. Die aussagekräftigsten Daten stammen laut Bericht von der quelloffenen Schachengine Stockfish: Die Forschenden verbinden Verbesserungen der Spielstärke mit einer Schätzung des Algorithmusfortschritts und nutzen die Zahl der Fishtest-Tests als Maß für Forschungsaufwand. Ihre zentrale Schätzung der Erträge liegt bei 0,83, mit einem Standardfehler von 0,15. Der Wert liegt damit knapp unter der Schwelle für überproportionale Erträge; die Schätzung schließt einen Wert über der Schwelle aber nicht aus. Falls KI-F&E der Entwicklung von Schachengines ähnelt, wäre das schwache Evidenz gegen „Foom“.
Für Computer Vision, SAT-Löser, lineare Programmierung und Reinforcement Learning liegen weniger aussagekräftige Daten vor. Die Studie verwendet dafür bayesianische Schätzungen, die je Bereich im Wesentlichen auf einem einzelnen Datenpunkt zum Effizienzzuwachs beruhen. Die medianen Schätzungen liegen in allen vier Bereichen über der Schwelle, sind laut Bericht aber statistisch nicht signifikant. Die Autorinnen und Autoren gewichten deshalb Stockfish stärker. Zudem messen einige Kennzahlen Trainings- oder Stichprobeneffizienz statt Laufzeit- oder Inferenzkosten; die theoretische Schwelle lässt sich auf diese Größen nicht ohne Weiteres übertragen.
Insgesamt hält der Bericht hohe Erträge aus Software-F&E für plausibel, sieht aber keine starke empirische Evidenz dafür, dass Softwarefortschritt allein eine Singularität auslösen würde. Historisch gingen Software- und Hardwarefortschritt häufig Hand in Hand; die Abhängigkeit von Hardwareverbesserungen könnte eigenständigen Softwarefortschritt begrenzen. Die Schlussfolgerung schließt rasches oder hyperbolisches Wachstum durch das Zusammenwirken von Software und Hardware nicht aus. Bessere Daten und verfeinerte Methoden seien nötig, um die langfristigen Erträge und ihr Zusammenspiel genauer zu bestimmen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Der Bericht beantwortet die Sicherheits- und Governance-Fragen nicht; seine Einordnungen fallen deshalb niedrig aus. Die Zusammenfassung von Luna gibt den Bericht treu wieder, lässt aber die Replikation von Bloom et al. und den Foom/Fizzle-Rahmen aus.
Im Bericht, aber nicht in der Zusammenfassung
- Die Replikation von Bloom et al. (2020) ergibt für die US-Gesamtwirtschaft einen noch pessimistischeren Median als die Originalstudie.
- Der Rahmen von „Foom“ und „Fizzle“ (Ajeya Cotra) als zwei Ausgänge automatisierter KI-F&E wird nicht erwähnt.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 25 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 30 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 30 %Hintergrund, keine Belege
- Luna 75 %Hintergrund, keine Belege
- JEV 32 %gleiches Oberthema, hilft nicht
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T1-T01 Welche messbaren, maschinell prüfbaren Fähigkeitsschwellen sollen Labore veröffentlichen, die vor dem Einsatz von Agentensystemen eine verpflichtende Pause und eine Prüfung von außen auslösen, abgestimmt über alle Labore hinweg? Wer führt das Register, und wo soll die Gesellschaft die verbindliche Sicherheitsgrenze für weitere Steigerungen der Fähigkeiten ziehen?
- SF-T1-T02 Welche messbaren Schwellen halten die weitere Skalierung von KI-Modellen automatisch an, wer prüft sie, und wie bleiben diese Auslöser bindend, wenn der Wettbewerb drückt?
- SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 32 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 22 %Hintergrund, keine Belege
- Luna 57 %Hintergrund, keine Belege
- JEV 54 %Hintergrund, keine Belege
- amos 32 %einzelne zitierbare Belege
- SubQ 25 %gleiches Oberthema, hilft nicht
- drex 26 %einzelne zitierbare Belege
- d3-ultra 50 %Hintergrund, keine Belege
- Haiku-Prüfung Hintergrund, keine Belege
- SF-T3-T01 Welches messbare Zeichen, also welche beobachtbare Änderung in der Fähigkeit eines Modells, die Abläufe zu verbessern, mit denen seine eigenen Fähigkeiten entwickelt werden, würden Labore und Staaten gemeinsam als Beginn der Selbstverbesserung anerkennen, und wer darf im Labor danach suchen? Welche beobachtbare Änderung markiert den Schritt von beaufsichtigter automatisierter Forschung zu voll selbstständiger Selbstverbesserung, und welche öffentliche Stelle darf diesen Schritt nach Prüfung der Belege für menschliche Kontrolle erlauben oder ablehnen?
- SF-T3-T03 Welche Teile von Training, Prüfung und Einsatz laufen schon heute weitgehend durch KI, und welche Rollen sagt jedes Labor zu, bei Menschen zu lassen, in einer veröffentlichten Liste statt als bloßer Grundsatz? Wenn KI nachfolgende Modelle selbst entwirft, trainiert und prüft: Welcher Mindestanteil der Forschung muss unter direkter menschlicher Prüfung bleiben, und wie belegt man, dass ein Durchbruch mit menschlicher Beteiligung und nicht vollautomatisch entstanden ist?
- SF-T3-T05 Wenn Selbstverbesserung schneller voranschreitet als der Beobachtungstakt fortlaufender Prüfer: Wie kurz muss dieser Takt sein, und wer darf zwischen zwei Beobachtungen eine Pause durchsetzen: der Prüfer, das Labor oder eine Stelle von außen?
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 76 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 37 %Hintergrund, keine Belege
- Luna 38 %Hintergrund, keine Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 35 %Hintergrund, keine Belege
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen?
Weitere Berichte zu diesen Fragen
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv