Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr24. Februar 2026 · Q001945

We are Changing our Developer Productivity Experiment Design

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

METR hält die Ergebnisse seiner Folgestudie zur KI-Produktivität wegen Auswahlverzerrungen und Messproblemen für unzuverlässig: Entwickler und Aufgaben mit möglicherweise besonders hohem KI-Nutzen könnten fehlen. Die Rohdaten deuten auf Beschleunigung, doch die Unsicherheit ist groß; METR will deshalb andere Studienansätze prüfen.

Mittel

METR will das Design seiner Studie zur Produktivität von Entwicklern mit KI ändern, weil die Folgestudie aus dem Jahr 2025 nach eigener Einschätzung kein zuverlässiges Signal liefert. Sie umfasste 57 Entwickler, 143 Repositories und mehr als 800 selbst ausgewählte, zufällig einer KI-erlaubten oder KI-freien Bedingung zugewiesene Aufgaben. Die Rohdaten schätzten bei früheren Teilnehmenden eine Beschleunigung um 18 Prozent und bei neu angeworbenen um 4 Prozent; beide Konfidenzintervalle schließen jedoch auch eine Verlangsamung ein.

Laut METR wollten zunehmend Entwickler nicht ohne KI arbeiten; 30 bis 50 Prozent der Befragten ließen bestimmte Aufgaben aus der Studie heraus, weil sie diese nicht ohne KI bearbeiten wollten. Dadurch könnten besonders KI-günstige Personen und Aufgaben fehlen und die gemessene Wirkung zu niedrig ausfallen. Auch die geringere Vergütung, Unterschiede bei Aufgaben und Arbeitsqualität sowie Schwierigkeiten, die Zeit bei parallelen KI-Agenten zu erfassen, beeinträchtigen die Aussagekraft. METR vermutet, dass KI Anfang 2026 stärker beschleunigt als Anfang 2025, betont aber, dass die Daten dafür nur schwache Evidenz liefern. Als Alternativen untersucht das Unternehmen unter anderem kürzere Experimente, Beobachtungsdaten, Umfragen, feste Aufgaben und Agenten-Evaluationen.

Ausführlich lesen

METR erklärt, warum das Unternehmen sein Experiment zur Produktivität von Open-Source-Entwicklern mit KI-Werkzeugen neu gestalten will. Eine frühere Studie mit Daten aus Februar bis Juni 2025 hatte geschätzt, dass Aufgaben mit KI im Mittel 19 Prozent länger dauerten; das Konfidenzintervall reichte von 2 bis 39 Prozent längerer Bearbeitungszeit. Eine im August 2025 begonnene Folgestudie sollte Veränderungen messen und umfasste zehn Personen aus der ersten Studie sowie 47 neu angeworbene Entwickler. Insgesamt wurden 57 Entwickler aus 143 Repositories und mehr als 800 Aufgaben untersucht.

Das Verfahren teilte von den Entwicklern selbst vorgeschlagene Aufgaben zufällig einer Bedingung mit erlaubter oder ausgeschlossener KI-Nutzung zu. Die Teilnehmenden sollten ihre Bearbeitungszeit erfassen. In den Rohdaten schätzte METR bei den erneut teilnehmenden Entwicklern eine Beschleunigung um 18 Prozent, mit einem Konfidenzintervall von 38 Prozent Beschleunigung bis 9 Prozent Verlangsamung. Bei den neu rekrutierten Entwicklern lag die Schätzung bei 4 Prozent Beschleunigung, mit einem Intervall von 15 Prozent Beschleunigung bis 9 Prozent Verlangsamung. METR hält die Daten jedoch wegen erheblicher Auswahl- und Messprobleme nur für schwache Evidenz zur tatsächlichen Wirkung.

Laut Befragungen wollten mehr Entwickler nicht ohne KI arbeiten, und 30 bis 50 Prozent gaben an, manche Aufgaben deshalb nicht eingereicht zu haben. Dadurch könnten gerade Personen und Aufgaben mit besonders hohem erwarteten KI-Nutzen in der Studie fehlen; METR vermutet deshalb, dass die Schätzung die Wirkung eher unterschätzt. Als weitere mögliche Ursache der stärkeren Auswahl nennt das Unternehmen die gegenüber der ersten Studie von 150 auf 50 US-Dollar pro Stunde gesenkte Vergütung. Außerdem könnten sich Aufgabenarten und Arbeitsqualität zwischen den Bedingungen unterscheiden. Bei paralleler Nutzung mehrerer KI-Agenten sei die Erfassung der tatsächlich aufgewendeten Zeit schwierig; einzelne Teilnehmende erledigten zudem zugewiesene Aufgaben ohne KI nicht oder seltener. Die genannten Schätzungen sind daher laut METR kein verlässlicher Ersatz für den tatsächlichen Produktivitätseffekt.

METR berichtet aus Gesprächen und Befragungen den Eindruck, dass Entwickler Anfang 2026 stärker von KI profitieren könnten als Anfang 2025. Wegen der Auswahlverzerrungen sei die Studie aber nur ein sehr schwacher Beleg für das Ausmaß. Das Unternehmen plant, weitere Ansätze zu prüfen: kürzere und intensivere Experimente mit höherer Teilnahme, Beobachtungsdaten, sorgfältig gestaltete Fragebögen in Verbindung mit Zeitnutzungsstudien, Experimente mit fest vorgegebenen Aufgaben, Leistungsprüfungen von Agenten sowie Versuche, bei denen die KI-Nutzung auf Entwicklerebene statt pro Aufgabe zugeteilt wird. Letztere könnten Aufgaben-Auswahlprobleme mindern, aber die Auswahl der Teilnehmenden verschärfen und die statistische Aussagekraft verringern. METR erwartet, Messverfahren mit steigenden Modellfähigkeiten weiter anpassen zu müssen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Geprüft wurde die mittlere Zusammenfassung, weil sie den Bericht am vollständigsten wiedergibt. Die kurze Fassung ist im Kern ebenfalls zutreffend, nennt aber keine Zahlen und keine der Alternativen zur Studie.

Im Bericht, aber nicht in der Zusammenfassung

  • Der frühere Befund der Studie von Anfang 2025: KI verlängerte die Aufgabenzeit um 19 Prozent (Konfidenzintervall +2 bis +39 Prozent)
  • Selbstberichtete sehr hohe Beschleunigungen gelten als unzuverlässig, wie schon in der früheren Studie dokumentiert
  • Die Auswahlverzerrung wirkt als Untergrenze: Die gemessene Beschleunigung dürfte zu niedrig sein, was im Text nur angedeutet wird

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 67 %einzelne zitierbare Belege
    • JEV 40 %beantwortet teilweise oder widerspricht
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 27 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 25 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 33 %gleiches Oberthema, hilft nicht
    • JEV 27 %Hintergrund, keine Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 24 %gleiches Oberthema, hilft nicht
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →