Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr10. Juli 2025 · Q002359

Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

In einer randomisierten Studie mit 16 erfahrenen Open-Source-Entwicklern und 246 realen Aufgaben benötigten die Teilnehmenden laut METR mit Anfang 2025 verfügbaren KI-Werkzeugen im Durchschnitt 19 Prozent länger, obwohl sie subjektiv eine Beschleunigung wahrnahmen. Die Ergebnisse gelten nur für diesen speziellen Kontext und belegen keine allgemeine Wirkung von KI; METR bezeichnet sie zudem als historisch überholt, da 2026 aktuellere Daten veröffentlicht wurden.

Mittel

METR untersuchte Anfang 2025, wie KI-Werkzeuge erfahrene Open-Source-Entwickler bei realen Aufgaben beeinflussten. In einer randomisierten Studie bearbeiteten 16 langjährige Mitwirkende an großen Projekten insgesamt 246 Aufgaben mit oder ohne erlaubte KI. Meist nutzten sie Cursor Pro mit Claude 3.5 oder 3.7; die Bearbeitungszeit meldeten sie selbst. Laut METR dauerten Aufgaben mit KI im Durchschnitt 19 Prozent länger. Dennoch glaubten die Entwickler vorab eine Beschleunigung von 24 Prozent zu erzielen und schätzten auch nach der Studie, KI habe sie um 20 Prozent schneller gemacht. Von 20 untersuchten möglichen Einflussfaktoren könnten fünf zur Verzögerung beitragen, doch der bereitgestellte Text nennt sie nicht.

Die Autoren berichten, dass das Ergebnis bei verschiedenen Auswertungen bestehen blieb und viele mögliche Versuchsartefakte geprüft wurden. Es belegt jedoch nicht, dass KI die meisten Entwickler oder andere Berufsgruppen nicht beschleunigt. Die kleine, möglicherweise nicht repräsentative Stichprobe, mögliche Lernzeiteffekte und der spezielle Kontext erfahrener Entwickler in vertrauten Codebasen begrenzen die Übertragbarkeit. METR fordert ergänzende Evaluationsmethoden, da Benchmarks, Alltagserfahrungen und kontrollierte Studien unterschiedliche Aufgaben erfassen können. Außerdem erklärt der Bericht die Ergebnisse für historisch überholt: Eine Fortsetzung mit Daten von Anfang 2026 sei aktueller und bilde die Wirkung damaliger Modelle nicht mehr ab.

Ausführlich lesen

Der Bericht von METR untersucht, wie sich KI-Werkzeuge Anfang 2025 auf die Produktivität erfahrener Open-Source-Entwickler auswirkten. METR betont, dass Benchmark-Ergebnisse die Wirkung im Arbeitsalltag nur begrenzt abbilden: Benchmark-Aufgaben sind oft klar abgegrenzt und algorithmisch bewertbar, während reale Entwicklungsarbeit Vorwissen und hohe Qualitätsstandards erfordert. Ohne menschliche Interaktion können Benchmarks Fähigkeiten zugleich über- oder unterschätzen. Die Untersuchung sollte deshalb ergänzende Evidenz aus einem realitätsnahen Arbeitsumfeld liefern.

An der randomisierten Studie nahmen 16 erfahrene Entwickler teil, die seit Jahren an großen Open-Source-Projekten mit durchschnittlich mehr als 22.000 GitHub-Sternen und einer Million Codezeilen mitarbeiteten. Sie schlugen insgesamt 246 echte, für ihre Projekte nützliche Aufgaben vor, darunter Fehlerbehebungen, neue Funktionen und Refaktorierungen. Die Aufgaben wurden zufällig einer Bedingung mit erlaubter oder untersagter generativer KI zugeteilt. Bei erlaubter KI konnten die Entwickler beliebige Werkzeuge nutzen; überwiegend verwendeten sie Cursor Pro mit Claude 3.5 oder 3.7 Sonnet. Die Aufgaben dauerten im Durchschnitt etwa zwei Stunden. Die Entwickler zeichneten ihre Bildschirme auf und meldeten anschließend selbst ihre Bearbeitungszeit.

Laut METR benötigten die Entwickler bei erlaubter KI im Mittel 19 Prozent länger für die Aufgaben. Das widersprach sowohl ihren Erwartungen vor der Studie – sie rechneten mit einer Beschleunigung um 24 Prozent – als auch ihrer späteren Einschätzung: Nach der Erfahrung meinten sie weiterhin, KI habe sie durchschnittlich um 20 Prozent beschleunigt. METR berichtet, fünf von 20 untersuchten Faktoren könnten zur Verzögerung beitragen; der vorliegende Text benennt diese fünf Faktoren jedoch nicht. Die Autoren sagen, sie hätten viele mögliche Versuchsartefakte geprüft: Die Entwickler nutzten aktuelle Spitzenmodelle, hielten sich an die zugewiesenen Bedingungen, ließen nicht systematisch bestimmte Aufgaben aus und reichten nach ihrer Einschätzung vergleichbare PR-Qualität ein. Die Verzögerung zeige sich außerdem unter verschiedenen Mess- und Auswertungsmethoden.

METR grenzt die Aussagekraft ausdrücklich ein. Die Ergebnisse belegen nicht, dass KI die Mehrheit der Softwareentwickler oder Menschen in anderen Arbeitsfeldern nicht beschleunigt. Sie schließen weder künftige Verbesserungen noch wirksamere Nutzung bestehender Werkzeuge aus. Die kleine Teilnehmerzahl und mögliche Auswahlverzerrungen schränken die Übertragbarkeit ein; etwa könnten Entwickler mit besonders positiven KI-Erfahrungen seltener teilgenommen haben. Auch längere Lernzeiteffekte sind nicht ausgeschlossen. Die untersuchten Aufgaben betrafen erfahrene Entwickler in vertrauten, anspruchsvollen Codebasen; andere Nutzer, Projekte und Aufgaben können anders ausfallen.

Der Bericht stellt die Resultate neben gute Benchmark-Werte und positive Erfahrungsberichte. Als mögliche Erklärung nennt METR, dass die Methoden unterschiedliche Aufgabenbereiche messen, Benchmarks oder Selbstauskünfte Fähigkeiten überschätzen können oder die Studie bestimmte Fähigkeiten unterschätzt. Die Autoren plädieren deshalb für verschiedene Evaluationsmethoden. Zugleich vermerken sie, dass diese historischen Ergebnisse überholt seien: Im Februar 2026 veröffentlichte METR eine Fortsetzung mit aktuelleren Daten und erklärt, die damaligen Resultate spiegelten die Wirkung heutiger KI-Modelle nicht mehr wider.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung von Luna ist für mehrere Fragen zu hoch angesetzt, weil der Bericht sie nur am Rande berührt. Die Zusammenfassungen sind weitgehend treu, lassen aber die Motivation der Studie und den Vergleich mit Benchmarks aus.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Motivation der Studie: Die Messung soll zeigen, wie nah KI-Systeme an der Beschleunigung der KI-Forschung und -Entwicklung sind, und diese Beschleunigung birgt Risiken wie Kontrollverlust oder Machtkonzentration.
  • Die Einordnung der Ergebnisse im Vergleich zu Benchmarks und Alltagsberichten, einschließlich der drei Hypothesen, wie sich die widersprüchlichen Befunde vereinbaren lassen.
  • Die Aussage des Berichts, dass 246 Aufgaben für eine statistisch belastbare Aussage ausreichen, obwohl nur 16 Entwickler beteiligt waren.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 30 %Hintergrund, keine Belege
    • Luna 48 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 24 %Hintergrund, keine Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 45 %gleiches Oberthema, hilft nicht

  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %gleiches Oberthema, hilft nicht
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 29 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 36 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 27 %Hintergrund, keine Belege
    • Luna 63 %einzelne zitierbare Belege
    • JEV 39 %umfangreiche Belege
    • amos 32 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 26 %Hintergrund, keine Belege
    • d3-ultra 39 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 59 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 31 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 46 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 27 %gleiches Oberthema, hilft nicht
    • Luna 53 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 31 %Hintergrund, keine Belege
    • Luna 40 %Hintergrund, keine Belege
    • JEV 37 %Hintergrund, keine Belege
    • amos 34 %einzelne zitierbare Belege
    • SubQ 28 %gleiches Oberthema, hilft nicht
    • drex 35 %einzelne zitierbare Belege
    • d3-ultra 34 %Hintergrund, keine Belege

Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 27 %Hintergrund, keine Belege
    • Luna 61 %Hintergrund, keine Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 38 %einzelne zitierbare Belege
    • amos 29 %nur am Rande erwähnt
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 65 %Hintergrund, keine Belege
    • JEV 50 %nur am Rande erwähnt
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 35 %Hintergrund, keine Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht

Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →