Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch13. Juni 2025 · Q005612

What skills does SWE-bench Verified evaluate?

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

SWE-bench Verified prüft, ob Modelle samt Werkzeugumgebung konkrete, meist kleine Fehler in öffentlichen Python-Repositories finden und beheben können. Die Autoren warnen, dass wenige, teils alte und möglicherweise aus Trainingsdaten bekannte Projekte sowie die starke Abhängigkeit von der Werkzeugumgebung die Übertragbarkeit der Ergebnisse begrenzen.

Mittel

Der Bericht beschreibt SWE-bench Verified als Benchmark mit 500 Aufgaben aus zwölf öffentlichen Python-Repositories. Modelle erhalten den Code vor einer Änderung und eine Problembeschreibung, erstellen einen Patch und werden anhand ausgewählter Tests bewertet. Damit prüft der Benchmark neben dem Programmieren auch, ob ein Modell sich in einer Codebasis orientieren und Werkzeuge einsetzen kann.

Laut den Autoren geht es überwiegend um kleine, klar umrissene Fehlerkorrekturen: 39 Prozent der Aufgaben gelten als unter 15 Minuten lösbar, weitere 52 Prozent als Aufgaben von 15 Minuten bis einer Stunde. Eine kleine METR-Untersuchung deutet jedoch auf möglicherweise zu optimistische Zeitschätzungen hin; wegen nur sechs untersuchter Aufgaben sind ihre Ergebnisse unsicher. Der Bericht nennt außerdem eine starke Konzentration auf wenige Repositories: Django stellt fast die Hälfte, die fünf größten Projekte über 80 Prozent der Aufgaben. Die öffentlichen, teils alten Beispiele bergen ein hohes Kontaminationsrisiko und bilden geschlossene oder moderne Codebasen nur begrenzt ab. Auch die verwendete Werkzeugumgebung beeinflusst die Punktzahl stark. Der Benchmark misst daher vor allem die Behebung kleiner, gut beschriebener Fehler in bekannten Projekten, nicht das gesamte Spektrum der Softwareentwicklung.

Ausführlich lesen

Der Bericht untersucht, welche Fähigkeiten SWE-bench Verified tatsächlich misst und wie weit sich seine Ergebnisse auf Softwareentwicklung allgemein übertragen lassen. SWE-bench Verified umfasst 500 Aufgaben aus zwölf verbreiteten Python-Repositories. Für jede Aufgabe erhält ein Modell den Quellcode vor einer Änderung und die zugehörige Problembeschreibung. Es soll einen Patch erstellen, der anschließend mit ausgewählten Tests geprüft wird: Tests, die zuvor bestanden wurden, sollen weiterhin bestehen, und Tests, die den Fehler nachweisen, sollen nach der Korrektur bestehen. Die Aufgaben stammen aus zusammengeführten Pull Requests und wurden von Menschen gefiltert und annotiert.

Nach Einschätzung der Autoren ist der Benchmark realistischer als isolierte Programmieraufgaben im Stil von LeetCode: Er verlangt, sich in einem Repository zurechtzufinden, Werkzeuge zu benutzen und konkrete Fehler zu beheben. Sein Schwerpunkt liegt jedoch auf kleinen, klar beschriebenen Änderungen. Die Annotationen stufen 39 Prozent der Aufgaben als in weniger als 15 Minuten lösbar und 52 Prozent als in 15 Minuten bis einer Stunde lösbar ein; nur drei Aufgaben seien auf mehr als vier Stunden veranschlagt. Der Bericht weist zugleich darauf hin, dass diese Zeitangaben laut einer kleinen METR-Untersuchung zu optimistisch sein könnten. Diese Untersuchung umfasste lediglich sechs Aufgaben, weshalb sich daraus keine starken Schlüsse ziehen lassen. Die Patchgrößen korrelieren laut Artikel mit den geschätzten Bearbeitungszeiten. Eine weitere angeführte Analyse kommt zu dem Ergebnis, dass 87 Prozent der Aufgaben Fehlerbehebungen, 9 Prozent Feature-Anfragen und 4 Prozent Refactorings sind.

Die Autoren sehen Einschränkungen bei der Abdeckung: Django stellt fast die Hälfte der Aufgaben; die fünf größten Repositories machen zusammen mehr als 80 Prozent aus. Da Code und Probleme öffentlich sind und das Set statisch bleibt, könnten Modelle diese Repositories oder einzelne Aufgaben aus Trainingsdaten kennen. Der Artikel bewertet deshalb das Kontaminationsrisiko als hoch und warnt, dass Leistungen auf weniger vertraute, geschlossene Codebasen nicht ohne Weiteres übertragbar sind. Außerdem stammt die Hälfte der Aufgaben aus dem Jahr 2020 oder früher. Das bilde aktuelle Python-Praktiken nur begrenzt ab, auch wenn die Arbeit an älterem Code laut Bericht weiterhin zur Praxis gehört.

Ein weiterer Befund betrifft die Ausführungsumgebung: Die Leistung hängt laut Autoren auch stark vom sogenannten Scaffold ab, also von Werkzeugen, Prompts und Verfahren, mit denen ein Modell den Code bearbeitet. Unterschiedliche Scaffolds können die Ergebnisse deutlich verändern; gute Werte mit einer bestimmten Umgebung müssen sich daher nicht auf andere übertragen lassen. Der Bericht empfiehlt, insbesondere den einzelnen Durchlauf ohne mehrere Lösungsversuche (single-trace pass@1) zu beachten, wenn die tatsächliche Nutzungserfahrung beurteilt werden soll.

Insgesamt misst SWE-bench Verified vor allem, ob Modelle samt Werkzeugumgebung kleine, gut spezifizierte Fehler in bekannten Open-Source-Python-Projekten beheben können. Die Autoren betrachten das als aussagekräftigen Schritt über isolierte Coding-Tests hinaus, aber nicht als vollständige Messung von Softwareentwicklung. Systementwurf, umfangreiche neue Funktionen, Refactorings und unklare Anforderungen seien nur eingeschränkt abgedeckt. Zudem können die verwendeten Tests laut den im Bericht genannten Arbeiten Regressionen oder weitere Fehler übersehen; zugleich kann eine besonders strenge Testauswahl Aufgaben schwer oder unlösbar machen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurde die mittlere Zusammenfassung; die kurze ist ebenfalls treu, nennt aber weniger Zahlen. Die Einordnungsfragen betreffen Selbstüberwachung von Laboren, Prüferunabhängigkeit und Ausrichtung von Modellen, der Bericht dagegen behandelt nur die Validität des Programmier-Benchmarks SWE-bench Verified. Deshalb fallen die Stufen niedrig aus.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Anteil reiner Bugfixes (87 %) sowie der geringe Anteil an Feature-Anfragen (9 %) und Refactorings (4 %) fehlt
  • Etwa die Hälfte der Aufgaben stammt aus 2020 oder früher; die Autoren sehen darin eine Schwäche bei der Aktualität mit Blick auf moderne Python-Praktiken
  • Der Datensatz wird seit Oktober 2023 nicht aktualisiert, was das Kontaminationsrisiko erhöht; das wird nur angedeutet
  • Die Kritik am sogenannten solution leak (Lösungshinweise in Issues) und die Gegenposition der Autoren fehlen

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 44 %einzelne zitierbare Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 32 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 40 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 46 %einzelne zitierbare Belege
    • amos 30 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 25 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →