Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai23. Februar 2026 · Q001600

Why we no longer evaluate SWE-bench Verified

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI berichtet, dass fehlerhafte oder unpassend enge Tests sowie mögliche Trainingsdaten-Kontamination SWE-bench Verified als Fortschrittsmaß unzuverlässig machen: In einer Prüfung von 138 schwierigen Aufgaben wiesen 59,4 Prozent erhebliche Mängel auf. Das Unternehmen empfiehlt SWE-bench Pro, betont aber, dass auch diese Benchmark nicht perfekt ist und die Befunde auf begrenzten eigenen Analysen beruhen.

Mittel

OpenAI erklärt, SWE-bench Verified nicht mehr zur Bewertung von Frontier-Modellen heranzuziehen, weil die Benchmark nach eigener Analyse zwei erhebliche Schwächen hat. Bei einer Prüfung von 138 besonders schwer lösbaren Aufgaben fanden Fachleute in 59,4 Prozent problematische Tests oder Beschreibungen: Manche Tests verlangten bestimmte Implementierungsdetails, andere prüften nicht beschriebene Funktionen. Dadurch können korrekte Lösungen durchfallen.

Zudem stammen die Aufgaben aus öffentlichen Repositories, die für Modelltraining genutzt werden können. OpenAI berichtet, dass alle getesteten Frontier-Modelle bei untersuchten Aufgaben den ursprünglichen Lösungspatch oder konkrete Aufgabendetails wiedergeben konnten. Ein Red-Team-Test mit drei Modellen lieferte weitere Beispiele; die Autorinnen und Autoren weisen auf mögliche Leistungsunterschiede zwischen diesen Modellen hin. Vorwissen könnte laut Bericht beim Bestehen helfen, wenn Tests unvollständig spezifiziert sind.

OpenAI meint daher, die Werte spiegelten zunehmend Trainingsdaten-Exposition statt echter Fähigkeitszuwächse wider. Das Unternehmen empfiehlt SWE-bench Pro, räumt aber ein, dass auch diese Benchmark nicht perfekt und nicht kontaminationsfrei ist. Die Befunde stammen aus begrenzten, von OpenAI durchgeführten Prüfungen.

Ausführlich lesen

Der Bericht begründet, warum OpenAI SWE-bench Verified nicht mehr als Maß für Fortschritte bei besonders leistungsfähigen Modellen verwenden will. Die Benchmark umfasst 500 Aufgaben aus zwölf öffentlichen Python-Repositories. Modelle sollen anhand einer Problembeschreibung und des Codes vor der Fehlerbehebung eine Änderung erstellen; Tests bewerten, ob sie als korrekt gilt. Eine frühere Prüfung durch Fachleute sollte Fehler der ursprünglichen SWE-bench-Auswahl aussortieren.

Laut Bericht sprechen zwei Probleme gegen die Aussagekraft der verbleibenden Ergebnisse. Erstens können Tests korrekte Lösungen zurückweisen. OpenAI ließ 138 Aufgaben prüfen, die o3 in 64 unabhängigen Durchläufen nicht zuverlässig gelöst hatte. Mindestens sechs erfahrene Softwareentwickler prüften jeden Fall. Bei 59,4 Prozent fanden sie erhebliche Mängel in Tests oder Aufgabenbeschreibung: 35,5 Prozent hatten zu enge Tests, die bestimmte Implementierungsdetails verlangten; 18,8 Prozent zu weit gefasste Tests, die nicht beschriebene Funktionen prüften; bei 5,1 Prozent lagen andere Probleme vor. Die angeführten Beispiele zeigen, wie Tests etwa einen nicht vorgegebenen Funktionsnamen voraussetzen oder mehrere Fehlerbehebungen abfragen können, obwohl die Aufgabenbeschreibung nur eine davon nennt.

Zweitens sieht der Bericht Hinweise auf Trainingsdaten-Kontamination. Die Aufgaben stammen aus öffentlichen Repositories, die auch für das Modelltraining verwendet werden können. In den untersuchten Fällen konnten alle getesteten Frontier-Modelle entweder den ursprünglichen, von Menschen geschriebenen Lösungspatch oder konkrete Einzelheiten der Aufgabenbeschreibung wiedergeben. Ein automatisierter Red-Team-Versuch ließ GPT‑5 über mehrere Gesprächsrunden drei Modelle – GPT‑5.2‑Chat, Claude Opus 4.5 und Gemini 3 Flash Preview – auf aufgabenspezifische Erinnerungen untersuchen; die Autorinnen und Autoren räumen dabei einen möglichen Leistungsunterschied zwischen den Modellen ein. Die Beispiele im Bericht zeigen teils wortgetreue oder sehr genaue Erinnerungen an Patches und Aufgaben. OpenAI berichtet außerdem, dass Modelle mit solcher Vorinformation eher bestehen könnten, weil diese ihnen beim Umgang mit unvollständig spezifizierten Tests hilft.

OpenAI folgert, dass steigende SWE-bench-Verified-Werte inzwischen zunehmend die vorherige Exposition mit den Aufgaben widerspiegeln könnten und daher reale Verbesserungen der Softwareentwicklung nicht mehr verlässlich anzeigen. Das Unternehmen hat deshalb die Veröffentlichung eigener Werte eingestellt und empfiehlt SWE-bench Pro. Nach eigener Analyse sei diese Benchmark weniger stark von Kontamination betroffen, aber nicht frei davon; in den untersuchten Fällen sei kein Modell in der Lage gewesen, einen vollständigen Gold-Patch wortgetreu auszugeben. OpenAI kündigt zudem privat erstellte Benchmarks an und nennt GDPVal als Beispiel für Aufgaben von Fachleuten mit ganzheitlicher Bewertung durch geschulte Prüfer.

Die Aussagen beruhen auf OpenAIs eigener Prüfung, darunter eine gezielt ausgewählte Teilmenge schwer lösbarer Aufgaben und begrenzte Kontaminationstests; der Bericht macht daraus keinen Nachweis, dass jede Aufgabe oder jeder Benchmarkwert gleichermaßen betroffen ist. Er betont selbst, dass SWE-bench Pro nicht perfekt ist und private, fachlich bewertete Tests aufwendig sind.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurde die mittlere Zusammenfassung. Die kurze Fassung ist weitgehend treu, lässt aber die Red-Team-Befunde aus. Die Einordnung stützt sich nur auf den Berichtstext, nicht auf Lunas Stufen und Anteile.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Aufteilung der Mängel in 35,5 Prozent zu enge und 18,8 Prozent zu weite Tests
  • Das Beispiel, dass GPT-5.2 Versionsdetails aus Release Notes wiedergab

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Aussage, die Befunde beruhten auf begrenzten, von OpenAI durchgeführten Prüfungen, steht so nicht im Bericht

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 22 %Hintergrund, keine Belege
    • Luna 43 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 22 %einzelne zitierbare Belege
    • SubQ 22 %gleiches Oberthema, hilft nicht
    • drex 21 %einzelne zitierbare Belege
    • d3-ultra offen

    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 24 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F2-T03 Ein Minister beschreibt Risiken durch Spionage und Datenabfluss, etwa über quelloffene KI-Agentenwerkzeuge, und durch ein Ungleichgewicht in der technologischen Entwicklung, das Monopole und Technologiebeschränkungen verschärfen. Welche veröffentlichten Belege würden diese Risiken an der Fähigkeit eines Modells statt an seiner Herkunft festmachen? Luna: Stufe 3 · 26 % · Hintergrund, keine Belege
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %gleiches Oberthema, hilft nicht
    • amos 23 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 23 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 55 %einzelne zitierbare Belege
    • JEV 27 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 18 %gleiches Oberthema, hilft nicht
    • Luna 62 %umfangreiche Belege
    • JEV 38 %beantwortet teilweise oder widerspricht
    • amos 29 %einzelne zitierbare Belege
    • SubQ 30 %einzelne zitierbare Belege
    • drex 30 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 23 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-T1-T02 Welche messbaren Schwellen halten die weitere Skalierung von KI-Modellen automatisch an, wer prüft sie, und wie bleiben diese Auslöser bindend, wenn der Wettbewerb drückt? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 35 %gleiches Oberthema, hilft nicht
    • Luna 100 %kein Bezug
    • JEV 34 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 49 %einzelne zitierbare Belege
    • JEV 20 %Hintergrund, keine Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  2. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 58 %einzelne zitierbare Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 29 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 25 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung umfangreiche Belege

    • SF-H3-T02 Welche gemeinsamen Prüfstandards und Verfahren zum Herkunftsnachweis erkennen versteckte Verhaltensauslöser und eine systemweite Verschlechterung der Ausrichtung an den vorgesehenen Zielen und Werten, wenn Training immer mehr auf synthetischen Daten anderer Spitzenmodelle beruht? Luna: Stufe 4 · 25 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 45 %einzelne zitierbare Belege
    • JEV 31 %umfangreiche Belege
    • amos 27 %nur am Rande erwähnt
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →