Because 8 ≈ e², Anthropic's researcher uplift is plausibly >2x
Zusammenfassung
Kurz
Der METR-Bericht leitet aus Anthropic zufolge achtmal mehr zusammengeführtem Code modellbasiert einen wahrscheinlich mehr als doppelt so hohen Forschungsbeitrag pro Forschendem ab; als groben Mittelwert nennt Autor Thomas Kwa etwa das 2,5-Fache. Die Schätzung hängt jedoch von Annahmen über Codequalität, Ausführlichkeit, Nutzen zusätzlicher Software und Zeitverteilung ab, und Kwa zufolge sind seine Schlussfolgerungen bei METR umstritten.
Mittel
Der METR-Bericht fragt, was die von Anthropic gemeldete Verachtfachung des täglich zusammengeführten Codes pro aktivem Beitragenden im zweiten Quartal 2026 über den gesamten Forschungsbeitrag einzelner Forschender aussagt. Autor Thomas Kwa schätzt anhand ökonomischer Modelle, dass dieser Beitrag durch Coding-Agenten allein wahrscheinlich mehr als doppelt so hoch ist; sein grober Mittelwert liegt bei etwa 2,5. Das ist eine modellabhängige Einschätzung, keine direkte Messung von Forschungsfortschritt. Kwa weist darauf hin, dass andere bei METR abweichende Einschätzungen haben und die Mathematik nicht von einer zweiten Person geprüft wurde.
Im Grundmodell verbringen Forschende vor KI etwa die Hälfte ihrer Zeit mit Programmieren, und nicht-codebezogene Arbeit wird zunächst nicht beschleunigt. Ein Cobb-Douglas-Modell ergibt damit rund 2,83-fachen Beitrag. Ein CES-Modell, das unterschiedliche Beziehungen zwischen Programmieren und anderen Aufgaben zulässt, kommt bei gleichartigem Code auf ähnliche Werte. Wenn KI wenig wichtige Codeaufgaben stärker beschleunigt, sinkt die Schätzung für als plausibel angenommene Parameter auf etwa 2,33 bis 2,66.
Als mögliche Gründe für einen Wert unter zwei nennt der Bericht übermäßig ausführlichen KI-Code, wenig nützliche Zusatzsoftware und ineffiziente Zeitverteilung. Mit einer beispielhaften Annahme zu mehr Ausführlichkeit fällt die modellierte Schätzung bis in die Nähe von zwei. Der Autor hält einen Wert über zwei dennoch für wahrscheinlich. Die Aussage ist durch die Messung bloßer Codezeilen und die Modellannahmen begrenzt. Anthropics niedrigere Schätzung der gesamten F&E-Beschleunigung bewertet eine andere Größe und lässt sich anhand der im Bericht verfügbaren Angaben nicht unabhängig prüfen.
Ausführlich lesen
Der METR-Bericht untersucht, was Anthropic zufolge achtmal so viel täglich zusammengeführter Code pro aktivem Beitragenden im zweiten Quartal 2026 gegenüber 2021–2024 für den gesamten Forschungsbeitrag einzelner Forschender bedeuten könnte. Autor Thomas Kwa schätzt, dass der produktive Beitrag pro Forschendem durch Coding-Agenten allein wahrscheinlich mehr als doppelt so hoch ist; als groben Mittelwert nennt er etwa das 2,5-Fache. Das ist eine modellbasierte Einschätzung, keine direkt gemessene Steigerung des Forschungsfortschritts. Der Bericht betont zudem, dass Kwa diese Annahmen und Schlussfolgerungen vertritt und andere bei METR anderer Meinung sind; die Mathematik sei von Claude, aber nicht von einer zweiten Person geprüft worden.
Die Analyse setzt zunächst voraus, dass Codezeilen vor und nach KI-Unterstützung vergleichbare Qualität und Ausführlichkeit haben. Außerdem wird für die Grundmodelle angenommen, dass Forschende vor KI etwa die Hälfte ihrer Zeit mit Programmieren verbringen und KI nicht-codebezogene Aufgaben zunächst gar nicht beschleunigt. In einem Cobb-Douglas-Modell ergibt eine Verachtfachung des Codes dann rund 2,83-fachen Forschungsbeitrag. Ein allgemeineres CES-Modell berücksichtigt, ob Programmieren und andere Aufgaben einander ersetzen oder ergänzen. Bei gleichartigem Code bleibt die Schätzung laut Bericht über eine breite Spanne solcher Annahmen nahe bei 2,83; für Substitutionselastizitäten von 0,5 bis 2 werde eine Abweichung von höchstens etwa drei Prozent erwartet. Sehr starke Ergänzung würde die beobachtete Verachtfachung jedoch schwer erklärbar machen. Unter plausibel gesetzten Grenzen für Programmiergeschwindigkeit und Zeitanteil folgert der Autor, die Aufgaben seien keine starken Komplemente.
Ein weiteres Modell unterscheidet wenig und stark forschungsrelevanten Code. Wenn KI wenig wichtige Aufgaben stärker beschleunigt und solche Zeilen weniger wertvoll sind, sinkt die modellierte Steigerung auf etwa das 2,33- bis 2,66-Fache für die vom Autor als plausibel eingestuften Parameter. Das zeigt, dass die Zahl der Codezeilen nicht unmittelbar dem Forschungswert entspricht.
Der Bericht nennt drei plausible Gründe, warum der tatsächliche Beitrag unter dem Modellwert liegen könnte: KI-Code könnte für dieselbe Funktion deutlich ausführlicher sein; ein Teil der zusätzlich erzeugten Software könnte nur geringen Nutzen haben; und Forschende könnten mehr Zeit mit Programmieren verbringen, als für den Forschungsfortschritt sinnvoll wäre. Eine angeführte METR-Studie zu Open-Source-Entwicklern liefert wegen eines breiten Unsicherheitsbereichs und anderer KI-Systeme keinen eindeutigen Beleg für die heutige Ausführlichkeit. Mit einem beispielhaften Ausführlichkeitsfaktor von 1,83 ergäbe das heterogene Modell ungefähr 1,84 bis 2,08-fachen Beitrag. Der Autor hält zudem extreme Unterschiede zwischen Aufgaben sowie Änderungen an der Gruppe der Beitragenden für weniger wahrscheinliche Erklärungen.
Anthropics Aussage, die gesamte Forschung und Entwicklung sei noch weit von einer Verdopplung entfernt, widerspricht der Schätzung laut Autor nicht zwingend: Sie betreffen unterschiedliche Größen, und Gesamt-F&E hängt auch von Rechenleistung ab. Der Bericht legt keine öffentliche Methode von Anthropic vor, mit der sich dessen Zahl prüfen ließe. Seine Schlussfolgerung bleibt deshalb ausdrücklich abhängig von Modellannahmen, der Qualität der Code-Messung und dem tatsächlichen Wert zusätzlicher Arbeit. Kwa hält eine Steigerung des Forschungsbeitrags pro Forschendem von mehr als zwei für wahrscheinlich; präzisere Daten zu Codequalität, Aufgabenwert und Zeitverteilung könnten die Schätzung verbessern.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna gibt den Inhalt des Berichts überwiegend treu wieder, lässt aber die zentralen Argumente zur σ-Robustheit und die Gegenargumente nach oben aus. Die Sammelfragen betreffen Sicherheitsaufsicht und Selbstverbesserung, während der Bericht fast ausschließlich Forschungsbeitrag durch Coding-Agenten misst. Die Einordnungen fallen deshalb niedrig aus.
Im Bericht, aber nicht in der Zusammenfassung
- Die Kernaussage, dass M = 8 die Schätzung des Forschungsbeitrags nahezu unabhängig von σ macht, weil 8 ungefähr e² entspricht und U innerhalb von ±3 % um 2,83 bleibt
- Die Schlussfolgerung, dass M = 8 starke Komplementarität zwischen Programmieren und anderen Aufgaben ausschließt und einen Mindestwert für σ impliziert
- Die Argumente für einen Wert über 2, etwa die Selbstauskunft von 4× Output-Zuwachs in einer Anthropic-Umfrage und die Hochrechnung eines exponentiellen Trends auf über 10× bis Quartalsende
- Das Argument von Greenblatt: Ein R&D-Speedup von 2× entspräche etwa 3,5× Forschungsbeitrag, und 2,83× entspräche nur etwa 1,77× R&D-Speedup
- Die Einschätzung, dass Ausführlichkeit den Faktor nicht um mehr als etwa 2× verzerrt, gestützt auf den Verlauf von 2,5× über 5,8× zu 8×
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 21 %einzelne zitierbare Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %nur am Rande erwähnt
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 63 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 25 %Hintergrund, keine Belege
- Luna 58 %einzelne zitierbare Belege
- JEV 43 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 36 %gleiches Oberthema, hilft nicht
- drex 25 %gleiches Oberthema, hilft nicht
- d3-ultra 41 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 24 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 27 %gleiches Oberthema, hilft nicht
- d3-ultra 31 %nur am Rande erwähnt
- SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus?
- SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 26 %Hintergrund, keine Belege
- Luna 39 %einzelne zitierbare Belege
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 28 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 25 %Hintergrund, keine Belege
- Luna 32 %einzelne zitierbare Belege
- JEV 25 %Hintergrund, keine Belege
- amos 31 %einzelne zitierbare Belege
- SubQ 25 %gleiches Oberthema, hilft nicht
- drex 33 %einzelne zitierbare Belege
- d3-ultra 32 %Hintergrund, keine Belege
- Haiku-Prüfung Hintergrund, keine Belege
- SF-T3-T01 Welches messbare Zeichen, also welche beobachtbare Änderung in der Fähigkeit eines Modells, die Abläufe zu verbessern, mit denen seine eigenen Fähigkeiten entwickelt werden, würden Labore und Staaten gemeinsam als Beginn der Selbstverbesserung anerkennen, und wer darf im Labor danach suchen? Welche beobachtbare Änderung markiert den Schritt von beaufsichtigter automatisierter Forschung zu voll selbstständiger Selbstverbesserung, und welche öffentliche Stelle darf diesen Schritt nach Prüfung der Belege für menschliche Kontrolle erlauben oder ablehnen?
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 27 %Hintergrund, keine Belege
- Luna 35 %Hintergrund, keine Belege
- JEV 29 %Hintergrund, keine Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Alle Berichte im Archiv