Introducing the SWE-Lancer benchmark
Zusammenfassung
Kurz
Der vorliegende Textauszug stellt SWE-Lancer vor: einen Benchmark mit über 1.400 realen Softwareaufträgen und Managemententscheidungen, deren Gesamtwert laut OpenAI einer Million US-Dollar an Auszahlungen entspricht. OpenAI berichtet, dass führende Modelle noch nicht die Mehrheit der Aufgaben lösen; ein Update von 2025 entfernte die Internetverbindung als Ausführungsanforderung, die eine Quelle von Leistungsschwankungen gewesen sei.
Mittel
Der vorliegende Textauszug beschreibt SWE-Lancer, einen Benchmark mit mehr als 1.400 realen Upwork-Aufgaben aus der Softwareentwicklung. Laut OpenAI entsprechen die Aufgaben insgesamt einer Million US-Dollar an tatsächlichen Auszahlungen. Sie umfassen technische Einzelaufträge, von kleinen Fehlerbehebungen bis zu umfangreichen Funktionen, sowie Managementaufgaben, bei denen Modelle Umsetzungsvorschläge auswählen sollen.
Technische Aufgaben werden anhand von Ende-zu-Ende-Tests bewertet, die erfahrene Softwareentwickler dreifach überprüft haben sollen. Managemententscheidungen werden mit den Entscheidungen der ursprünglich beauftragten Engineering-Manager verglichen. OpenAI berichtet, dass führende Modelle noch nicht die Mehrheit der Aufgaben bewältigen. Konkrete Erfolgsquoten nennt der Auszug nicht.
Für weitere Forschung stellt OpenAI ein Docker-Abbild und den öffentlichen Evaluierungssplit SWE-Lancer Diamond bereit. Ein Update berichtet, dass Datensatz und Ergebnisse auf den Stand vom 17. Juli 2025 gebracht wurden. Zudem sei die erforderliche Internetverbindung bei der Ausführung entfernt worden, die laut OpenAI eine wesentliche Quelle für Leistungsschwankungen war.
Ausführlich lesen
Der vorliegende Textauszug stellt SWE-Lancer vor, einen Benchmark für Aufgaben aus der freiberuflichen Softwareentwicklung. OpenAI zufolge umfasst der Benchmark mehr als 1.400 reale Upwork-Aufgaben mit zusammen einer Million US-Dollar an tatsächlichen Auszahlungen. Die Aufgaben reichen laut Bericht von Fehlerbehebungen im Wert von 50 US-Dollar bis zu Funktionsentwicklungen für 32.000 US-Dollar. Neben einzelnen technischen Aufgaben enthält SWE-Lancer auch Aufgaben für Führungskräfte: Dabei sollen Modelle zwischen Vorschlägen zur technischen Umsetzung wählen.
Für die Bewertung technischer Aufgaben nutzt das Team Ende-zu-Ende-Tests, die laut Bericht von erfahrenen Softwareentwicklern dreifach überprüft wurden. Bei den Managemententscheidungen vergleicht es die Modellwahl mit den Entscheidungen der ursprünglich beauftragten Engineering-Manager. Auf Grundlage dieser Bewertungen berichtet OpenAI, dass selbst führende Modelle noch nicht die Mehrheit der Aufgaben lösen können. Der Text nennt jedoch keine konkreten Erfolgsquoten oder einen Vergleich einzelner Modelle.
Als Beitrag zu weiterer Forschung habe OpenAI ein vereinheitlichtes Docker-Abbild und eine öffentliche Evaluierungsteilmenge namens SWE-Lancer Diamond veröffentlicht. Der Benchmark soll Modellleistung auch in Geldwerten abbilden und dadurch Forschung zu den wirtschaftlichen Auswirkungen der KI-Entwicklung unterstützen.
Ein Nachtrag besagt, dass Datensatz und Ergebnisse zum Stand vom 17. Juli 2025 aktualisiert wurden. Die aktualisierte Fassung entferne die Notwendigkeit einer Internetverbindung während der Ausführung; laut OpenAI beseitige dies eine wesentliche Quelle von Schwankungen bei der Modellleistung. Der Auszug erläutert weder die aktualisierten Ergebnisse im Einzelnen noch weitere Grenzen der Messung.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Beide Zusammenfassungen geben den Bericht sachlich korrekt wieder; die Kurzfassung ist knapper und lässt Aufgabenspanne und Prüfverfahren aus. Die Anteilswerte in Lunas Einordnung wurden nicht bewertet, nur die Stufen.
Im Bericht, aber nicht in der Zusammenfassung
- Spanne der Aufgabenwerte von 50 bis 32.000 US-Dollar
- Motivation des Benchmarks: Erforschung der wirtschaftlichen Auswirkungen der KI-Entwicklung
- Die Kurzfassung nennt weder die Aufgabenarten noch die Prüfverfahren oder die Veröffentlichung von Docker-Abbild und Diamond-Split
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 23 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %gleiches Oberthema, hilft nicht
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 56 %einzelne zitierbare Belege
- JEV 48 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 59 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 42 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 37 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 39 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 41 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 31 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv