We are Changing our Developer Productivity Experiment Design
Zusammenfassung
Kurz
METR hält die Ergebnisse seiner Folgestudie zur KI-Produktivität wegen Auswahlverzerrungen und Messproblemen für unzuverlässig: Entwickler und Aufgaben mit möglicherweise besonders hohem KI-Nutzen könnten fehlen. Die Rohdaten deuten auf Beschleunigung, doch die Unsicherheit ist groß; METR will deshalb andere Studienansätze prüfen.
Mittel
METR will das Design seiner Studie zur Produktivität von Entwicklern mit KI ändern, weil die Folgestudie aus dem Jahr 2025 nach eigener Einschätzung kein zuverlässiges Signal liefert. Sie umfasste 57 Entwickler, 143 Repositories und mehr als 800 selbst ausgewählte, zufällig einer KI-erlaubten oder KI-freien Bedingung zugewiesene Aufgaben. Die Rohdaten schätzten bei früheren Teilnehmenden eine Beschleunigung um 18 Prozent und bei neu angeworbenen um 4 Prozent; beide Konfidenzintervalle schließen jedoch auch eine Verlangsamung ein.
Laut METR wollten zunehmend Entwickler nicht ohne KI arbeiten; 30 bis 50 Prozent der Befragten ließen bestimmte Aufgaben aus der Studie heraus, weil sie diese nicht ohne KI bearbeiten wollten. Dadurch könnten besonders KI-günstige Personen und Aufgaben fehlen und die gemessene Wirkung zu niedrig ausfallen. Auch die geringere Vergütung, Unterschiede bei Aufgaben und Arbeitsqualität sowie Schwierigkeiten, die Zeit bei parallelen KI-Agenten zu erfassen, beeinträchtigen die Aussagekraft. METR vermutet, dass KI Anfang 2026 stärker beschleunigt als Anfang 2025, betont aber, dass die Daten dafür nur schwache Evidenz liefern. Als Alternativen untersucht das Unternehmen unter anderem kürzere Experimente, Beobachtungsdaten, Umfragen, feste Aufgaben und Agenten-Evaluationen.
Ausführlich lesen
METR erklärt, warum das Unternehmen sein Experiment zur Produktivität von Open-Source-Entwicklern mit KI-Werkzeugen neu gestalten will. Eine frühere Studie mit Daten aus Februar bis Juni 2025 hatte geschätzt, dass Aufgaben mit KI im Mittel 19 Prozent länger dauerten; das Konfidenzintervall reichte von 2 bis 39 Prozent längerer Bearbeitungszeit. Eine im August 2025 begonnene Folgestudie sollte Veränderungen messen und umfasste zehn Personen aus der ersten Studie sowie 47 neu angeworbene Entwickler. Insgesamt wurden 57 Entwickler aus 143 Repositories und mehr als 800 Aufgaben untersucht.
Das Verfahren teilte von den Entwicklern selbst vorgeschlagene Aufgaben zufällig einer Bedingung mit erlaubter oder ausgeschlossener KI-Nutzung zu. Die Teilnehmenden sollten ihre Bearbeitungszeit erfassen. In den Rohdaten schätzte METR bei den erneut teilnehmenden Entwicklern eine Beschleunigung um 18 Prozent, mit einem Konfidenzintervall von 38 Prozent Beschleunigung bis 9 Prozent Verlangsamung. Bei den neu rekrutierten Entwicklern lag die Schätzung bei 4 Prozent Beschleunigung, mit einem Intervall von 15 Prozent Beschleunigung bis 9 Prozent Verlangsamung. METR hält die Daten jedoch wegen erheblicher Auswahl- und Messprobleme nur für schwache Evidenz zur tatsächlichen Wirkung.
Laut Befragungen wollten mehr Entwickler nicht ohne KI arbeiten, und 30 bis 50 Prozent gaben an, manche Aufgaben deshalb nicht eingereicht zu haben. Dadurch könnten gerade Personen und Aufgaben mit besonders hohem erwarteten KI-Nutzen in der Studie fehlen; METR vermutet deshalb, dass die Schätzung die Wirkung eher unterschätzt. Als weitere mögliche Ursache der stärkeren Auswahl nennt das Unternehmen die gegenüber der ersten Studie von 150 auf 50 US-Dollar pro Stunde gesenkte Vergütung. Außerdem könnten sich Aufgabenarten und Arbeitsqualität zwischen den Bedingungen unterscheiden. Bei paralleler Nutzung mehrerer KI-Agenten sei die Erfassung der tatsächlich aufgewendeten Zeit schwierig; einzelne Teilnehmende erledigten zudem zugewiesene Aufgaben ohne KI nicht oder seltener. Die genannten Schätzungen sind daher laut METR kein verlässlicher Ersatz für den tatsächlichen Produktivitätseffekt.
METR berichtet aus Gesprächen und Befragungen den Eindruck, dass Entwickler Anfang 2026 stärker von KI profitieren könnten als Anfang 2025. Wegen der Auswahlverzerrungen sei die Studie aber nur ein sehr schwacher Beleg für das Ausmaß. Das Unternehmen plant, weitere Ansätze zu prüfen: kürzere und intensivere Experimente mit höherer Teilnahme, Beobachtungsdaten, sorgfältig gestaltete Fragebögen in Verbindung mit Zeitnutzungsstudien, Experimente mit fest vorgegebenen Aufgaben, Leistungsprüfungen von Agenten sowie Versuche, bei denen die KI-Nutzung auf Entwicklerebene statt pro Aufgabe zugeteilt wird. Letztere könnten Aufgaben-Auswahlprobleme mindern, aber die Auswahl der Teilnehmenden verschärfen und die statistische Aussagekraft verringern. METR erwartet, Messverfahren mit steigenden Modellfähigkeiten weiter anpassen zu müssen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Geprüft wurde die mittlere Zusammenfassung, weil sie den Bericht am vollständigsten wiedergibt. Die kurze Fassung ist im Kern ebenfalls zutreffend, nennt aber keine Zahlen und keine der Alternativen zur Studie.
Im Bericht, aber nicht in der Zusammenfassung
- Der frühere Befund der Studie von Anfang 2025: KI verlängerte die Aufgabenzeit um 19 Prozent (Konfidenzintervall +2 bis +39 Prozent)
- Selbstberichtete sehr hohe Beschleunigungen gelten als unzuverlässig, wie schon in der früheren Studie dokumentiert
- Die Auswahlverzerrung wirkt als Untergrenze: Die gemessene Beschleunigung dürfte zu niedrig sein, was im Text nur angedeutet wird
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 67 %einzelne zitierbare Belege
- JEV 40 %beantwortet teilweise oder widerspricht
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 27 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 63 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 33 %gleiches Oberthema, hilft nicht
- JEV 27 %Hintergrund, keine Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 28 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 24 %gleiches Oberthema, hilft nicht
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen?
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv