Why we no longer evaluate SWE-bench Verified
Zusammenfassung
Kurz
OpenAI berichtet, dass fehlerhafte oder unpassend enge Tests sowie mögliche Trainingsdaten-Kontamination SWE-bench Verified als Fortschrittsmaß unzuverlässig machen: In einer Prüfung von 138 schwierigen Aufgaben wiesen 59,4 Prozent erhebliche Mängel auf. Das Unternehmen empfiehlt SWE-bench Pro, betont aber, dass auch diese Benchmark nicht perfekt ist und die Befunde auf begrenzten eigenen Analysen beruhen.
Mittel
OpenAI erklärt, SWE-bench Verified nicht mehr zur Bewertung von Frontier-Modellen heranzuziehen, weil die Benchmark nach eigener Analyse zwei erhebliche Schwächen hat. Bei einer Prüfung von 138 besonders schwer lösbaren Aufgaben fanden Fachleute in 59,4 Prozent problematische Tests oder Beschreibungen: Manche Tests verlangten bestimmte Implementierungsdetails, andere prüften nicht beschriebene Funktionen. Dadurch können korrekte Lösungen durchfallen.
Zudem stammen die Aufgaben aus öffentlichen Repositories, die für Modelltraining genutzt werden können. OpenAI berichtet, dass alle getesteten Frontier-Modelle bei untersuchten Aufgaben den ursprünglichen Lösungspatch oder konkrete Aufgabendetails wiedergeben konnten. Ein Red-Team-Test mit drei Modellen lieferte weitere Beispiele; die Autorinnen und Autoren weisen auf mögliche Leistungsunterschiede zwischen diesen Modellen hin. Vorwissen könnte laut Bericht beim Bestehen helfen, wenn Tests unvollständig spezifiziert sind.
OpenAI meint daher, die Werte spiegelten zunehmend Trainingsdaten-Exposition statt echter Fähigkeitszuwächse wider. Das Unternehmen empfiehlt SWE-bench Pro, räumt aber ein, dass auch diese Benchmark nicht perfekt und nicht kontaminationsfrei ist. Die Befunde stammen aus begrenzten, von OpenAI durchgeführten Prüfungen.
Ausführlich lesen
Der Bericht begründet, warum OpenAI SWE-bench Verified nicht mehr als Maß für Fortschritte bei besonders leistungsfähigen Modellen verwenden will. Die Benchmark umfasst 500 Aufgaben aus zwölf öffentlichen Python-Repositories. Modelle sollen anhand einer Problembeschreibung und des Codes vor der Fehlerbehebung eine Änderung erstellen; Tests bewerten, ob sie als korrekt gilt. Eine frühere Prüfung durch Fachleute sollte Fehler der ursprünglichen SWE-bench-Auswahl aussortieren.
Laut Bericht sprechen zwei Probleme gegen die Aussagekraft der verbleibenden Ergebnisse. Erstens können Tests korrekte Lösungen zurückweisen. OpenAI ließ 138 Aufgaben prüfen, die o3 in 64 unabhängigen Durchläufen nicht zuverlässig gelöst hatte. Mindestens sechs erfahrene Softwareentwickler prüften jeden Fall. Bei 59,4 Prozent fanden sie erhebliche Mängel in Tests oder Aufgabenbeschreibung: 35,5 Prozent hatten zu enge Tests, die bestimmte Implementierungsdetails verlangten; 18,8 Prozent zu weit gefasste Tests, die nicht beschriebene Funktionen prüften; bei 5,1 Prozent lagen andere Probleme vor. Die angeführten Beispiele zeigen, wie Tests etwa einen nicht vorgegebenen Funktionsnamen voraussetzen oder mehrere Fehlerbehebungen abfragen können, obwohl die Aufgabenbeschreibung nur eine davon nennt.
Zweitens sieht der Bericht Hinweise auf Trainingsdaten-Kontamination. Die Aufgaben stammen aus öffentlichen Repositories, die auch für das Modelltraining verwendet werden können. In den untersuchten Fällen konnten alle getesteten Frontier-Modelle entweder den ursprünglichen, von Menschen geschriebenen Lösungspatch oder konkrete Einzelheiten der Aufgabenbeschreibung wiedergeben. Ein automatisierter Red-Team-Versuch ließ GPT‑5 über mehrere Gesprächsrunden drei Modelle – GPT‑5.2‑Chat, Claude Opus 4.5 und Gemini 3 Flash Preview – auf aufgabenspezifische Erinnerungen untersuchen; die Autorinnen und Autoren räumen dabei einen möglichen Leistungsunterschied zwischen den Modellen ein. Die Beispiele im Bericht zeigen teils wortgetreue oder sehr genaue Erinnerungen an Patches und Aufgaben. OpenAI berichtet außerdem, dass Modelle mit solcher Vorinformation eher bestehen könnten, weil diese ihnen beim Umgang mit unvollständig spezifizierten Tests hilft.
OpenAI folgert, dass steigende SWE-bench-Verified-Werte inzwischen zunehmend die vorherige Exposition mit den Aufgaben widerspiegeln könnten und daher reale Verbesserungen der Softwareentwicklung nicht mehr verlässlich anzeigen. Das Unternehmen hat deshalb die Veröffentlichung eigener Werte eingestellt und empfiehlt SWE-bench Pro. Nach eigener Analyse sei diese Benchmark weniger stark von Kontamination betroffen, aber nicht frei davon; in den untersuchten Fällen sei kein Modell in der Lage gewesen, einen vollständigen Gold-Patch wortgetreu auszugeben. OpenAI kündigt zudem privat erstellte Benchmarks an und nennt GDPVal als Beispiel für Aufgaben von Fachleuten mit ganzheitlicher Bewertung durch geschulte Prüfer.
Die Aussagen beruhen auf OpenAIs eigener Prüfung, darunter eine gezielt ausgewählte Teilmenge schwer lösbarer Aufgaben und begrenzte Kontaminationstests; der Bericht macht daraus keinen Nachweis, dass jede Aufgabe oder jeder Benchmarkwert gleichermaßen betroffen ist. Er betont selbst, dass SWE-bench Pro nicht perfekt ist und private, fachlich bewertete Tests aufwendig sind.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde die mittlere Zusammenfassung. Die kurze Fassung ist weitgehend treu, lässt aber die Red-Team-Befunde aus. Die Einordnung stützt sich nur auf den Berichtstext, nicht auf Lunas Stufen und Anteile.
Im Bericht, aber nicht in der Zusammenfassung
- Die Aufteilung der Mängel in 35,5 Prozent zu enge und 18,8 Prozent zu weite Tests
- Das Beispiel, dass GPT-5.2 Versionsdetails aus Release Notes wiedergab
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, die Befunde beruhten auf begrenzten, von OpenAI durchgeführten Prüfungen, steht so nicht im Bericht
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 22 %Hintergrund, keine Belege
- Luna 43 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 22 %einzelne zitierbare Belege
- SubQ 22 %gleiches Oberthema, hilft nicht
- drex 21 %einzelne zitierbare Belege
- d3-ultra
- SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern?
- SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen?
- SF-F1-T06 Welche unabhängige Prüfung des Maßstabs selbst auf Verzerrung je nach Modellarchitektur, auf Sprachabhängigkeit und auf Empfindlichkeit für die Trainingsherkunft des prüfenden Modells veröffentlichen die Beteiligten, bevor ein gemeinsamer Cyber-Maßstab angenommen wird, und wer führt sie unabhängig von den Laboren durch, deren Modelle er prüft?
- SF-F1-T09 Wem gehört eine gemeinsam gebaute Testsammlung, wer darf sie an wessen Modellen erneut laufen lassen, darf ein Beteiligter seine Aufgaben zurückziehen, nachdem Ergebnisse veröffentlicht sind, und was wird dann aus der Vergleichbarkeit?
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 24 %Hintergrund, keine Belege
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2-T02 Wenn ein Staat fremde Modelle als Zeichen einer neuen Stufe nennt: Beruht das auf eigenen Messungen, die er so veröffentlichen könnte wie andere ihre Messungen? Und haben Labore vergleichbare Prüfungen fremder Modelle durchgeführt und sich entschieden, sie nicht zu veröffentlichen? Gefragt wurde das zu Minister Chen Yixins Nennung von Claude Mythos und GPT-5.5-Cyber als Zeichen der Phase „KI gegen KI“ bei Cyberangriff und -abwehr, nachdem die US-Prüfstelle CAISI Messungen von GLM-5.3 (17. September 2026) und, mit dem britischen AI Security Institute, von Kimi K3 (Juli 2026) veröffentlicht hatte, und zu Prüfungen von OpenAI und Anthropic an Modellen von DeepSeek, GLM, Qwen oder Kimi.
- SF-F2-T03 Ein Minister beschreibt Risiken durch Spionage und Datenabfluss, etwa über quelloffene KI-Agentenwerkzeuge, und durch ein Ungleichgewicht in der technologischen Entwicklung, das Monopole und Technologiebeschränkungen verschärfen. Welche veröffentlichten Belege würden diese Risiken an der Fähigkeit eines Modells statt an seiner Herkunft festmachen?
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 23 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 23 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 55 %einzelne zitierbare Belege
- JEV 27 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 39 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 18 %gleiches Oberthema, hilft nicht
- Luna 62 %umfangreiche Belege
- JEV 38 %beantwortet teilweise oder widerspricht
- amos 29 %einzelne zitierbare Belege
- SubQ 30 %einzelne zitierbare Belege
- drex 30 %einzelne zitierbare Belege
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T04 Wer prüft die KI-Modelle, die andere Modelle prüfen, auf Anweisungen, Versionen und Fehlerfälle, und welche unabhängige Prüfung zeigt, dass das geprüfte Modell sie nicht manipulieren kann, besonders wenn sie aus derselben Modellfamilie stammen? Und wenn gemeinsame Tests, Schweregrade und die Ersteinstufung von Meldungen von Sprachmodellen entworfen, durchgeführt und zusammengefasst werden: Nimmt jeder Staat einen Prüfmechanismus an, dessen Kernbausteine aus ausländischen Laboren stammen?
- SF-P3-T05 Welches Mindestpaket (Datenverzeichnisse, Code, Zufallsstartwerte, Abbilder der Rechenumgebung, Prüferversionen, Fehlerprotokolle und Annahmen über die Hardware) muss ein Labor sichern oder kontrolliert hinterlegen, damit ein Prüfer ein sicherheitskritisches Trainings- oder Prüfergebnis auch nach Ende seines Zugangs nachrechnen kann, und welche Geheimnisse bleiben unzugänglich?
- SF-P3-T06 Wenn getrennte Sicherheitsprüfungen Repositorien, Zwischenspeicher oder andere beschreibbare Dienste teilen: Wie zeigt man, dass Modellinstanzen zwischen den Läufen keine Informationen austauschen und dadurch das gemeldete Ergebnis ungültig machen können?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 29 %einzelne zitierbare Belege
- amos 23 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T1-T02 Welche messbaren Schwellen halten die weitere Skalierung von KI-Modellen automatisch an, wer prüft sie, und wie bleiben diese Auslöser bindend, wenn der Wettbewerb drückt?
- SF-T1-T04 Welche Belege stoppen an einem Prüfpunkt für Fähigkeiten den nächsten Schritt, welches unabhängig geprüfte Ergebnis erlaubt ihn wieder, und welcher Mindestbeleg gibt ihn frei? Wer darf ihn unabhängig ablehnen, und welche gemeinsamen Regeln für Pause und Wiederaufnahme gelten über alle Labore hinweg?
- SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus?
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 35 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 34 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3-T05 Wenn Selbstverbesserung schneller voranschreitet als der Beobachtungstakt fortlaufender Prüfer: Wie kurz muss dieser Takt sein, und wer darf zwischen zwei Beobachtungen eine Pause durchsetzen: der Prüfer, das Labor oder eine Stelle von außen?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 49 %einzelne zitierbare Belege
- JEV 20 %Hintergrund, keine Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H1-T02 Welche Belege wäre ein Labor bereit, seiner eigenen Regierung zu geben, wenn ein ausländisches Labor offenbar Fähigkeiten aus einem seiner Modelle extrahiert hat, und würde dessen Regierung im Gegenzug dasselbe Format anerkennen?
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 58 %einzelne zitierbare Belege
- JEV 35 %einzelne zitierbare Belege
- amos 29 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 25 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung umfangreiche Belege
- SF-H3-T01 Welcher gemeinsame Standard für Datenherkunft und Transparenz der Trainingsdaten erlaubt jedem Staat zu prüfen, ob ausländische Modelle mit unrechtmäßig beschafften Daten trainiert wurden (geschützte Werke, private Kommunikation, als geheim eingestuftes Material), ohne die Daten selbst offenzulegen?
- SF-H3-T02 Welche gemeinsamen Prüfstandards und Verfahren zum Herkunftsnachweis erkennen versteckte Verhaltensauslöser und eine systemweite Verschlechterung der Ausrichtung an den vorgesehenen Zielen und Werten, wenn Training immer mehr auf synthetischen Daten anderer Spitzenmodelle beruht?
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 45 %einzelne zitierbare Belege
- JEV 31 %umfangreiche Belege
- amos 27 %nur am Rande erwähnt
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O2-T06 Prüfer mit dauerhaftem Zugang im Labor sollen Nachprüfbarkeit, Transparenz und eine zweite Meinung bringen. Was sollten sie darüber hinaus veröffentlichen, das heute vertraulich bleibt, etwa Beinahe-Vorfälle oder Teilprüfungen noch unveröffentlichter Modelle?
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 26 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E1-T04 Wie bekommen Staaten, in denen kein Spitzenlabor sitzt, einen echten Platz beim Setzen internationaler technischer KI-Normen, damit KI in der Praxis ein gemeinsames Gut bleibt und nicht nur wenige Regierungen und Firmen die Regeln schreiben?
- SF-E1-T05 Welche Mechanismen könnten geschaffen werden, damit Standards und Praktiken der KI-Sicherheit in Ländern des Globalen Südens berücksichtigt und nicht allein von wenigen Staaten bestimmt werden?
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 30 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv