What skills does SWE-bench Verified evaluate?
Zusammenfassung
Kurz
SWE-bench Verified prüft, ob Modelle samt Werkzeugumgebung konkrete, meist kleine Fehler in öffentlichen Python-Repositories finden und beheben können. Die Autoren warnen, dass wenige, teils alte und möglicherweise aus Trainingsdaten bekannte Projekte sowie die starke Abhängigkeit von der Werkzeugumgebung die Übertragbarkeit der Ergebnisse begrenzen.
Mittel
Der Bericht beschreibt SWE-bench Verified als Benchmark mit 500 Aufgaben aus zwölf öffentlichen Python-Repositories. Modelle erhalten den Code vor einer Änderung und eine Problembeschreibung, erstellen einen Patch und werden anhand ausgewählter Tests bewertet. Damit prüft der Benchmark neben dem Programmieren auch, ob ein Modell sich in einer Codebasis orientieren und Werkzeuge einsetzen kann.
Laut den Autoren geht es überwiegend um kleine, klar umrissene Fehlerkorrekturen: 39 Prozent der Aufgaben gelten als unter 15 Minuten lösbar, weitere 52 Prozent als Aufgaben von 15 Minuten bis einer Stunde. Eine kleine METR-Untersuchung deutet jedoch auf möglicherweise zu optimistische Zeitschätzungen hin; wegen nur sechs untersuchter Aufgaben sind ihre Ergebnisse unsicher. Der Bericht nennt außerdem eine starke Konzentration auf wenige Repositories: Django stellt fast die Hälfte, die fünf größten Projekte über 80 Prozent der Aufgaben. Die öffentlichen, teils alten Beispiele bergen ein hohes Kontaminationsrisiko und bilden geschlossene oder moderne Codebasen nur begrenzt ab. Auch die verwendete Werkzeugumgebung beeinflusst die Punktzahl stark. Der Benchmark misst daher vor allem die Behebung kleiner, gut beschriebener Fehler in bekannten Projekten, nicht das gesamte Spektrum der Softwareentwicklung.
Ausführlich lesen
Der Bericht untersucht, welche Fähigkeiten SWE-bench Verified tatsächlich misst und wie weit sich seine Ergebnisse auf Softwareentwicklung allgemein übertragen lassen. SWE-bench Verified umfasst 500 Aufgaben aus zwölf verbreiteten Python-Repositories. Für jede Aufgabe erhält ein Modell den Quellcode vor einer Änderung und die zugehörige Problembeschreibung. Es soll einen Patch erstellen, der anschließend mit ausgewählten Tests geprüft wird: Tests, die zuvor bestanden wurden, sollen weiterhin bestehen, und Tests, die den Fehler nachweisen, sollen nach der Korrektur bestehen. Die Aufgaben stammen aus zusammengeführten Pull Requests und wurden von Menschen gefiltert und annotiert.
Nach Einschätzung der Autoren ist der Benchmark realistischer als isolierte Programmieraufgaben im Stil von LeetCode: Er verlangt, sich in einem Repository zurechtzufinden, Werkzeuge zu benutzen und konkrete Fehler zu beheben. Sein Schwerpunkt liegt jedoch auf kleinen, klar beschriebenen Änderungen. Die Annotationen stufen 39 Prozent der Aufgaben als in weniger als 15 Minuten lösbar und 52 Prozent als in 15 Minuten bis einer Stunde lösbar ein; nur drei Aufgaben seien auf mehr als vier Stunden veranschlagt. Der Bericht weist zugleich darauf hin, dass diese Zeitangaben laut einer kleinen METR-Untersuchung zu optimistisch sein könnten. Diese Untersuchung umfasste lediglich sechs Aufgaben, weshalb sich daraus keine starken Schlüsse ziehen lassen. Die Patchgrößen korrelieren laut Artikel mit den geschätzten Bearbeitungszeiten. Eine weitere angeführte Analyse kommt zu dem Ergebnis, dass 87 Prozent der Aufgaben Fehlerbehebungen, 9 Prozent Feature-Anfragen und 4 Prozent Refactorings sind.
Die Autoren sehen Einschränkungen bei der Abdeckung: Django stellt fast die Hälfte der Aufgaben; die fünf größten Repositories machen zusammen mehr als 80 Prozent aus. Da Code und Probleme öffentlich sind und das Set statisch bleibt, könnten Modelle diese Repositories oder einzelne Aufgaben aus Trainingsdaten kennen. Der Artikel bewertet deshalb das Kontaminationsrisiko als hoch und warnt, dass Leistungen auf weniger vertraute, geschlossene Codebasen nicht ohne Weiteres übertragbar sind. Außerdem stammt die Hälfte der Aufgaben aus dem Jahr 2020 oder früher. Das bilde aktuelle Python-Praktiken nur begrenzt ab, auch wenn die Arbeit an älterem Code laut Bericht weiterhin zur Praxis gehört.
Ein weiterer Befund betrifft die Ausführungsumgebung: Die Leistung hängt laut Autoren auch stark vom sogenannten Scaffold ab, also von Werkzeugen, Prompts und Verfahren, mit denen ein Modell den Code bearbeitet. Unterschiedliche Scaffolds können die Ergebnisse deutlich verändern; gute Werte mit einer bestimmten Umgebung müssen sich daher nicht auf andere übertragen lassen. Der Bericht empfiehlt, insbesondere den einzelnen Durchlauf ohne mehrere Lösungsversuche (single-trace pass@1) zu beachten, wenn die tatsächliche Nutzungserfahrung beurteilt werden soll.
Insgesamt misst SWE-bench Verified vor allem, ob Modelle samt Werkzeugumgebung kleine, gut spezifizierte Fehler in bekannten Open-Source-Python-Projekten beheben können. Die Autoren betrachten das als aussagekräftigen Schritt über isolierte Coding-Tests hinaus, aber nicht als vollständige Messung von Softwareentwicklung. Systementwurf, umfangreiche neue Funktionen, Refactorings und unklare Anforderungen seien nur eingeschränkt abgedeckt. Zudem können die verwendeten Tests laut den im Bericht genannten Arbeiten Regressionen oder weitere Fehler übersehen; zugleich kann eine besonders strenge Testauswahl Aufgaben schwer oder unlösbar machen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde die mittlere Zusammenfassung; die kurze ist ebenfalls treu, nennt aber weniger Zahlen. Die Einordnungsfragen betreffen Selbstüberwachung von Laboren, Prüferunabhängigkeit und Ausrichtung von Modellen, der Bericht dagegen behandelt nur die Validität des Programmier-Benchmarks SWE-bench Verified. Deshalb fallen die Stufen niedrig aus.
Im Bericht, aber nicht in der Zusammenfassung
- Der Anteil reiner Bugfixes (87 %) sowie der geringe Anteil an Feature-Anfragen (9 %) und Refactorings (4 %) fehlt
- Etwa die Hälfte der Aufgaben stammt aus 2020 oder früher; die Autoren sehen darin eine Schwäche bei der Aktualität mit Blick auf moderne Python-Praktiken
- Der Datensatz wird seit Oktober 2023 nicht aktualisiert, was das Kontaminationsrisiko erhöht; das wird nur angedeutet
- Die Kritik am sogenannten solution leak (Lösungshinweise in Issues) und die Gegenposition der Autoren fehlen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %gleiches Oberthema, hilft nicht
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 58 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 44 %einzelne zitierbare Belege
- JEV 31 %einzelne zitierbare Belege
- amos 30 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P3-T06 Wenn getrennte Sicherheitsprüfungen Repositorien, Zwischenspeicher oder andere beschreibbare Dienste teilen: Wie zeigt man, dass Modellinstanzen zwischen den Läufen keine Informationen austauschen und dadurch das gemeldete Ergebnis ungültig machen können?
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 32 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 51 %Hintergrund, keine Belege
- JEV 30 %einzelne zitierbare Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 46 %einzelne zitierbare Belege
- amos 30 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 28 %einzelne zitierbare Belege
- amos 25 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %einzelne zitierbare Belege
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv