Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr10. März 2026 · Q001902

Many SWE-bench-Passing PRs Would Not Be Merged into Main

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

In METRs Untersuchung lag die Erfolgsquote des automatischen SWE-bench-Graders im Schnitt 24,2 Prozentpunkte über der Quote, mit der Maintainer KI-Patches angenommen hätten; eine alternative Fortschrittsbewertung zeigte ein ähnliches Muster. Die Studie ist begrenzt und erlaubt keine Aussage über die Leistung nach Überarbeitung durch Feedback; besonders der behauptete wachsende Abstand zwischen Grader und Maintainer ist unsicher.

Mittel

METR vergleicht bei 296 KI-generierten Pull Requests aus 95 SWE-bench-Verified-Aufgaben den automatischen Grader mit der Frage, ob Maintainer die Patches in den Hauptzweig übernehmen würden. Vier Maintainer aus scikit-learn, Sphinx und pytest beurteilten Patches von fünf Modellversionen; 47 tatsächlich zusammengeführte menschliche Patches dienten als Referenz für die Schwankungen der Reviews.

Laut Bericht lag die Erfolgsquote des automatischen Graders im Durchschnitt 24,2 Prozentpunkte über der Annahmequote der Maintainer. Eine alternative Bewertung nach dem Fortschritt hin zu einem zusammenführbaren Patch ergab ein ähnliches Ergebnis. Ablehnungsgründe umfassten Codequalität, Fehler in der Kernfunktion und Probleme für anderen Code. METR sieht auch Hinweise auf einen wachsenden Abstand zwischen den Messmethoden, betont aber, dass dieser Trend unsicher und modellabhängig ist. Bei Claude Sonnet 4.5 schätzte der Grader den 50-Prozent-Zeithorizont auf etwa 50 Minuten, die Maintainer auf etwa 8 Minuten; die Entwicklung dieses Abstands über die Zeit ließ sich nicht verlässlich bestimmen.

Die Studie umfasst nur drei Repositories und einen Benchmark-Ausschnitt. Reviews fanden ohne CI statt, und anders als Menschen konnten die Agenten nicht auf Feedback reagieren. METR folgert daher nicht, dass Agenten grundsätzlich keine reviewfähigen Patches liefern können, sondern warnt vor einer direkten Gleichsetzung von Benchmark-Werten und praktischer Nützlichkeit.

Ausführlich lesen

METR untersucht, wie gut ein hoher SWE-bench-Verified-Wert die praktische Brauchbarkeit von KI-Agenten abbildet. Die Studie vergleicht den automatischen Benchmark-Grader mit der Einschätzung, ob Maintainer einen Patch in den Hauptzweig eines Projekts übernehmen würden. Dafür ließen vier aktive Maintainer aus den Projekten scikit-learn, Sphinx und pytest insgesamt 296 KI-generierte Pull Requests beurteilen. Untersucht wurden 95 Aufgaben und fünf Modellversionen, darunter Claude 3.5 Sonnet, Claude 3.7 Sonnet, Claude 4 Opus, Claude 4.5 Sonnet und GPT-5. Als Vergleich dienten 47 bereits tatsächlich zusammengeführte, von Menschen verfasste Patches („goldene Patches“). Die Maintainer wussten nicht, ob ein Patch von Mensch oder KI stammte.

Laut METR lag die vom automatischen Grader gemessene Erfolgsquote im Mittel um 24,2 Prozentpunkte über der Annahmequote der Maintainer. Um deren mögliche Subjektivität einzubeziehen, normierte das Team die Ergebnisse anhand der goldenen Patches: Von diesen wurden 68 Prozent von den Maintainerinnen und Maintainer tatsächlich angenommen; im Mittel galten 90 Prozent ihres Arbeitsfortschritts als ausreichend weit auf dem Weg zu einem zusammenführbaren Patch. Auch mit dieser Anpassung blieben die Ergebnisse der KI-Patches deutlich niedriger. Eine alternative Erfolgsdefinition – mindestens 80 Prozent Fortschritt in Richtung eines zusammenführbaren Patches – ergab laut Bericht ein ähnliches Bild.

Bei Ablehnungen nannten die Maintainer unter anderem Probleme mit der Codequalität, Fehler in der Kernfunktion sowie Änderungen, die andere Teile des Projekts beeinträchtigen. Die Autorinnen und Autoren beschreiben Unterschiede zwischen den Modellen: Bei aufeinanderfolgenden Anthropic-Modellen hätten sich teils Funktionalität oder Codequalität verbessert; GPT-5 habe bei der Codequalität schwächer abgeschnitten als die Anthropic-Modelle. Der Bericht betont, dass solche Einordnungen aus dieser begrenzten Auswahl stammen.

Die Studie findet außerdem Hinweise darauf, dass der Abstand zwischen Benchmark- und Maintainer-Ergebnissen über die Modellgenerationen wachsen könnte. Diesen Trend hält METR jedoch für unsicher: Er ist statistisch schwächer als der Unterschied der Erfolgsniveaus und hängt davon ab, welche Modelle in die Analyse eingehen. Auch bei der ergänzenden „Zeithorizont“-Auswertung – der geschätzten Aufgabendauer, bei der ein Modell 50 Prozent Erfolg erreicht – lag der Grader deutlich über der Maintainer-Einschätzung. Für Claude Sonnet 4.5 nennt der Bericht ungefähr 50 Minuten gegenüber etwa 8 Minuten. Aussagen zum zeitlichen Fortschritt der Modelle seien bei dieser Auswertung dagegen nicht belastbar.

Die Resultate gelten nur eingeschränkt: Betrachtet wurde ein Teil eines Benchmarks, drei von zwölf SWE-bench-Verified-Repositories und ein Agenten-Setup. Bei den Reviews fehlten CI-Werkzeuge; die Aufgaben waren älter, und die goldenen Patches könnten erkennbar gewesen sein. Zudem konnten die KI-Agenten ihr Ergebnis nicht wie menschliche Entwickler nach Rückmeldungen überarbeiten, und die Studie verlangte keine regulären Tests. METR versteht die Befunde deshalb nicht als Nachweis einer grundsätzlichen Fähigkeitsgrenze. Die zentrale Warnung lautet vielmehr, Benchmark-Werte nicht ungeprüft mit realer Nützlichkeit gleichzusetzen, sondern als einen von mehreren Hinweisen zu behandeln.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnungen beruhen nur auf dem Bericht und nicht auf Lunas Stufen; die Sammelfragen liegen thematisch weit vom SWE-bench-Bericht entfernt, weshalb alle Stufen niedrig ausfallen.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Kernaussage, dass rund die Hälfte der bestandenen KI-Patches von Maintainern nicht übernommen würde, fehlt in beiden Zusammenfassungen als Hauptbefund.
  • Die Normierung aller Werte auf die Golden-Baseline (68 % Annahmequote menschlicher Patches) und die Blindung der Reviewer gegenüber der Herkunft der Patches werden nicht erwähnt.
  • Der Diskussionsteil, der den Abstand zwischen Grader und Maintainern mit der früheren METR-Studie zur Verlangsamung von Open-Source-Entwicklern durch KI verbindet, fehlt.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 21 %einzelne zitierbare Belege
    • amos 24 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 21 %gleiches Oberthema, hilft nicht
    • Luna 59 %einzelne zitierbare Belege
    • JEV 39 %umfangreiche Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 24 %Hintergrund, keine Belege
    • d3-ultra 40 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 24 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 47 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 62 %Hintergrund, keine Belege
    • JEV 36 %umfangreiche Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

Agenten und vernetzte Systeme
Modelle teilen und schützen
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung Hintergrund, keine Belege

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →