Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai18. Februar 2025 · Q009216

Introducing the SWE-Lancer benchmark

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der vorliegende Textauszug stellt SWE-Lancer vor: einen Benchmark mit über 1.400 realen Softwareaufträgen und Managemententscheidungen, deren Gesamtwert laut OpenAI einer Million US-Dollar an Auszahlungen entspricht. OpenAI berichtet, dass führende Modelle noch nicht die Mehrheit der Aufgaben lösen; ein Update von 2025 entfernte die Internetverbindung als Ausführungsanforderung, die eine Quelle von Leistungsschwankungen gewesen sei.

Mittel

Der vorliegende Textauszug beschreibt SWE-Lancer, einen Benchmark mit mehr als 1.400 realen Upwork-Aufgaben aus der Softwareentwicklung. Laut OpenAI entsprechen die Aufgaben insgesamt einer Million US-Dollar an tatsächlichen Auszahlungen. Sie umfassen technische Einzelaufträge, von kleinen Fehlerbehebungen bis zu umfangreichen Funktionen, sowie Managementaufgaben, bei denen Modelle Umsetzungsvorschläge auswählen sollen.

Technische Aufgaben werden anhand von Ende-zu-Ende-Tests bewertet, die erfahrene Softwareentwickler dreifach überprüft haben sollen. Managemententscheidungen werden mit den Entscheidungen der ursprünglich beauftragten Engineering-Manager verglichen. OpenAI berichtet, dass führende Modelle noch nicht die Mehrheit der Aufgaben bewältigen. Konkrete Erfolgsquoten nennt der Auszug nicht.

Für weitere Forschung stellt OpenAI ein Docker-Abbild und den öffentlichen Evaluierungssplit SWE-Lancer Diamond bereit. Ein Update berichtet, dass Datensatz und Ergebnisse auf den Stand vom 17. Juli 2025 gebracht wurden. Zudem sei die erforderliche Internetverbindung bei der Ausführung entfernt worden, die laut OpenAI eine wesentliche Quelle für Leistungsschwankungen war.

Ausführlich lesen

Der vorliegende Textauszug stellt SWE-Lancer vor, einen Benchmark für Aufgaben aus der freiberuflichen Softwareentwicklung. OpenAI zufolge umfasst der Benchmark mehr als 1.400 reale Upwork-Aufgaben mit zusammen einer Million US-Dollar an tatsächlichen Auszahlungen. Die Aufgaben reichen laut Bericht von Fehlerbehebungen im Wert von 50 US-Dollar bis zu Funktionsentwicklungen für 32.000 US-Dollar. Neben einzelnen technischen Aufgaben enthält SWE-Lancer auch Aufgaben für Führungskräfte: Dabei sollen Modelle zwischen Vorschlägen zur technischen Umsetzung wählen.

Für die Bewertung technischer Aufgaben nutzt das Team Ende-zu-Ende-Tests, die laut Bericht von erfahrenen Softwareentwicklern dreifach überprüft wurden. Bei den Managemententscheidungen vergleicht es die Modellwahl mit den Entscheidungen der ursprünglich beauftragten Engineering-Manager. Auf Grundlage dieser Bewertungen berichtet OpenAI, dass selbst führende Modelle noch nicht die Mehrheit der Aufgaben lösen können. Der Text nennt jedoch keine konkreten Erfolgsquoten oder einen Vergleich einzelner Modelle.

Als Beitrag zu weiterer Forschung habe OpenAI ein vereinheitlichtes Docker-Abbild und eine öffentliche Evaluierungsteilmenge namens SWE-Lancer Diamond veröffentlicht. Der Benchmark soll Modellleistung auch in Geldwerten abbilden und dadurch Forschung zu den wirtschaftlichen Auswirkungen der KI-Entwicklung unterstützen.

Ein Nachtrag besagt, dass Datensatz und Ergebnisse zum Stand vom 17. Juli 2025 aktualisiert wurden. Die aktualisierte Fassung entferne die Notwendigkeit einer Internetverbindung während der Ausführung; laut OpenAI beseitige dies eine wesentliche Quelle von Schwankungen bei der Modellleistung. Der Auszug erläutert weder die aktualisierten Ergebnisse im Einzelnen noch weitere Grenzen der Messung.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Beide Zusammenfassungen geben den Bericht sachlich korrekt wieder; die Kurzfassung ist knapper und lässt Aufgabenspanne und Prüfverfahren aus. Die Anteilswerte in Lunas Einordnung wurden nicht bewertet, nur die Stufen.

Im Bericht, aber nicht in der Zusammenfassung

  • Spanne der Aufgabenwerte von 50 bis 32.000 US-Dollar
  • Motivation des Benchmarks: Erforschung der wirtschaftlichen Auswirkungen der KI-Entwicklung
  • Die Kurzfassung nennt weder die Aufgabenarten noch die Prüfverfahren oder die Veröffentlichung von Docker-Abbild und Diamond-Split

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 56 %einzelne zitierbare Belege
    • JEV 48 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 42 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 39 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 41 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →