Many SWE-bench-Passing PRs Would Not Be Merged into Main
Zusammenfassung
Kurz
In METRs Untersuchung lag die Erfolgsquote des automatischen SWE-bench-Graders im Schnitt 24,2 Prozentpunkte über der Quote, mit der Maintainer KI-Patches angenommen hätten; eine alternative Fortschrittsbewertung zeigte ein ähnliches Muster. Die Studie ist begrenzt und erlaubt keine Aussage über die Leistung nach Überarbeitung durch Feedback; besonders der behauptete wachsende Abstand zwischen Grader und Maintainer ist unsicher.
Mittel
METR vergleicht bei 296 KI-generierten Pull Requests aus 95 SWE-bench-Verified-Aufgaben den automatischen Grader mit der Frage, ob Maintainer die Patches in den Hauptzweig übernehmen würden. Vier Maintainer aus scikit-learn, Sphinx und pytest beurteilten Patches von fünf Modellversionen; 47 tatsächlich zusammengeführte menschliche Patches dienten als Referenz für die Schwankungen der Reviews.
Laut Bericht lag die Erfolgsquote des automatischen Graders im Durchschnitt 24,2 Prozentpunkte über der Annahmequote der Maintainer. Eine alternative Bewertung nach dem Fortschritt hin zu einem zusammenführbaren Patch ergab ein ähnliches Ergebnis. Ablehnungsgründe umfassten Codequalität, Fehler in der Kernfunktion und Probleme für anderen Code. METR sieht auch Hinweise auf einen wachsenden Abstand zwischen den Messmethoden, betont aber, dass dieser Trend unsicher und modellabhängig ist. Bei Claude Sonnet 4.5 schätzte der Grader den 50-Prozent-Zeithorizont auf etwa 50 Minuten, die Maintainer auf etwa 8 Minuten; die Entwicklung dieses Abstands über die Zeit ließ sich nicht verlässlich bestimmen.
Die Studie umfasst nur drei Repositories und einen Benchmark-Ausschnitt. Reviews fanden ohne CI statt, und anders als Menschen konnten die Agenten nicht auf Feedback reagieren. METR folgert daher nicht, dass Agenten grundsätzlich keine reviewfähigen Patches liefern können, sondern warnt vor einer direkten Gleichsetzung von Benchmark-Werten und praktischer Nützlichkeit.
Ausführlich lesen
METR untersucht, wie gut ein hoher SWE-bench-Verified-Wert die praktische Brauchbarkeit von KI-Agenten abbildet. Die Studie vergleicht den automatischen Benchmark-Grader mit der Einschätzung, ob Maintainer einen Patch in den Hauptzweig eines Projekts übernehmen würden. Dafür ließen vier aktive Maintainer aus den Projekten scikit-learn, Sphinx und pytest insgesamt 296 KI-generierte Pull Requests beurteilen. Untersucht wurden 95 Aufgaben und fünf Modellversionen, darunter Claude 3.5 Sonnet, Claude 3.7 Sonnet, Claude 4 Opus, Claude 4.5 Sonnet und GPT-5. Als Vergleich dienten 47 bereits tatsächlich zusammengeführte, von Menschen verfasste Patches („goldene Patches“). Die Maintainer wussten nicht, ob ein Patch von Mensch oder KI stammte.
Laut METR lag die vom automatischen Grader gemessene Erfolgsquote im Mittel um 24,2 Prozentpunkte über der Annahmequote der Maintainer. Um deren mögliche Subjektivität einzubeziehen, normierte das Team die Ergebnisse anhand der goldenen Patches: Von diesen wurden 68 Prozent von den Maintainerinnen und Maintainer tatsächlich angenommen; im Mittel galten 90 Prozent ihres Arbeitsfortschritts als ausreichend weit auf dem Weg zu einem zusammenführbaren Patch. Auch mit dieser Anpassung blieben die Ergebnisse der KI-Patches deutlich niedriger. Eine alternative Erfolgsdefinition – mindestens 80 Prozent Fortschritt in Richtung eines zusammenführbaren Patches – ergab laut Bericht ein ähnliches Bild.
Bei Ablehnungen nannten die Maintainer unter anderem Probleme mit der Codequalität, Fehler in der Kernfunktion sowie Änderungen, die andere Teile des Projekts beeinträchtigen. Die Autorinnen und Autoren beschreiben Unterschiede zwischen den Modellen: Bei aufeinanderfolgenden Anthropic-Modellen hätten sich teils Funktionalität oder Codequalität verbessert; GPT-5 habe bei der Codequalität schwächer abgeschnitten als die Anthropic-Modelle. Der Bericht betont, dass solche Einordnungen aus dieser begrenzten Auswahl stammen.
Die Studie findet außerdem Hinweise darauf, dass der Abstand zwischen Benchmark- und Maintainer-Ergebnissen über die Modellgenerationen wachsen könnte. Diesen Trend hält METR jedoch für unsicher: Er ist statistisch schwächer als der Unterschied der Erfolgsniveaus und hängt davon ab, welche Modelle in die Analyse eingehen. Auch bei der ergänzenden „Zeithorizont“-Auswertung – der geschätzten Aufgabendauer, bei der ein Modell 50 Prozent Erfolg erreicht – lag der Grader deutlich über der Maintainer-Einschätzung. Für Claude Sonnet 4.5 nennt der Bericht ungefähr 50 Minuten gegenüber etwa 8 Minuten. Aussagen zum zeitlichen Fortschritt der Modelle seien bei dieser Auswertung dagegen nicht belastbar.
Die Resultate gelten nur eingeschränkt: Betrachtet wurde ein Teil eines Benchmarks, drei von zwölf SWE-bench-Verified-Repositories und ein Agenten-Setup. Bei den Reviews fehlten CI-Werkzeuge; die Aufgaben waren älter, und die goldenen Patches könnten erkennbar gewesen sein. Zudem konnten die KI-Agenten ihr Ergebnis nicht wie menschliche Entwickler nach Rückmeldungen überarbeiten, und die Studie verlangte keine regulären Tests. METR versteht die Befunde deshalb nicht als Nachweis einer grundsätzlichen Fähigkeitsgrenze. Die zentrale Warnung lautet vielmehr, Benchmark-Werte nicht ungeprüft mit realer Nützlichkeit gleichzusetzen, sondern als einen von mehreren Hinweisen zu behandeln.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Einordnungen beruhen nur auf dem Bericht und nicht auf Lunas Stufen; die Sammelfragen liegen thematisch weit vom SWE-bench-Bericht entfernt, weshalb alle Stufen niedrig ausfallen.
Im Bericht, aber nicht in der Zusammenfassung
- Die Kernaussage, dass rund die Hälfte der bestandenen KI-Patches von Maintainern nicht übernommen würde, fehlt in beiden Zusammenfassungen als Hauptbefund.
- Die Normierung aller Werte auf die Golden-Baseline (68 % Annahmequote menschlicher Patches) und die Blindung der Reviewer gegenüber der Herkunft der Patches werden nicht erwähnt.
- Der Diskussionsteil, der den Abstand zwischen Grader und Maintainern mit der früheren METR-Studie zur Verlangsamung von Open-Source-Entwicklern durch KI verbindet, fehlt.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 29 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 21 %einzelne zitierbare Belege
- amos 24 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %einzelne zitierbare Belege
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 36 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 21 %gleiches Oberthema, hilft nicht
- Luna 59 %einzelne zitierbare Belege
- JEV 39 %umfangreiche Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 24 %Hintergrund, keine Belege
- d3-ultra 40 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 47 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 36 %umfangreiche Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 60 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 58 %Hintergrund, keine Belege
- JEV 35 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
- SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat?
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv