Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai5. August 2025 · Q001927

Estimating worst case frontier risks of open weight LLMs

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der Auszug berichtet, OpenAI habe gpt-oss durch gezieltes Fine-Tuning auf biologische Bedrohungsaufgaben und Cybersecurity-CTF-Aufgaben geprüft. Laut Abstract blieb das Modell hinter o3 zurück und habe gegenüber anderen offenen Modellen die biologische Fähigkeit allenfalls geringfügig erhöht; Details und Messwerte für eine unabhängige Prüfung enthält der Auszug nicht.

Mittel

Der bereitgestellte Text ist ein Auszug: Er enthält das Abstract eines OpenAI-Papiers, aber keine ausführlichen Methoden oder Ergebnisse. Laut Abstract untersuchten die Autorinnen und Autoren mögliche Extremrisiken einer Veröffentlichung von gpt-oss, indem sie das Modell per „malicious fine-tuning“ (MFT) gezielt für biologische und cyberbezogene Aufgaben trainierten. Für Biologie nutzten sie Aufgaben zur Erzeugung von Bedrohungen sowie eine RL-Umgebung mit Webzugriff; für Cybersicherheit eine agentische Programmierumgebung mit Capture-the-Flag-Aufgaben.

Nach den im Abstract berichteten Vergleichen blieb das angepasste gpt-oss hinter OpenAI o3 zurück, das in beiden Risikobereichen unterhalb der Preparedness-Stufe „High“ eingeordnet wird. Gegenüber offenen Modellen habe gpt-oss biologische Fähigkeiten möglicherweise leicht erhöht, die Fähigkeitsgrenze aber nicht wesentlich verschoben. OpenAI zufolge trugen diese Ergebnisse zur Veröffentlichungsentscheidung bei; MFT könne künftig zur Einschätzung möglicher Schäden dienen. Konkrete Messwerte und ausreichende Details zur unabhängigen Prüfung fehlen im vorliegenden Auszug.

Ausführlich lesen

Der bereitgestellte Text ist ein Auszug aus einem OpenAI-Papier über mögliche Extremrisiken beim Veröffentlichen des Modells gpt-oss. Er enthält im Wesentlichen nur das Abstract sowie Autorennamen und drei Abbildungsüberschriften; ausführliche Methoden, Ergebnisse und Abbildungen sind nicht enthalten.

Laut Abstract untersuchen die Autorinnen und Autoren, welche Fähigkeiten sich im ungünstigsten Fall durch gezieltes bösartiges Fine-Tuning von gpt-oss erreichen lassen. Sie nennen diesen Ansatz „malicious fine-tuning“ (MFT) und wenden ihn auf zwei Bereiche an: Biologie und Cybersicherheit. Für den biologischen Bereich stellten sie Aufgaben zur Erzeugung von Bedrohungen zusammen und trainierten das Modell in einer Umgebung mit Reinforcement Learning und Webzugriff. Für den Bereich Cybersicherheit wurde es in einer agentischen Programmierumgebung auf Capture-the-Flag-Aufgaben trainiert.

Die so angepassten Modelle verglichen sie laut Abstract mit Modellen mit offenen und geschlossenen Gewichten anhand von Bewertungen zu fortgeschrittenen Risiken. OpenAI zufolge schnitt das MFT-Modell gpt-oss schlechter ab als das geschlossene Modell o3. Das Abstract ordnet o3 bei biologischen Risiken und Cybersicherheit unterhalb der Preparedness-Kategorie „High“ ein. Gegenüber anderen Modellen mit offenen Gewichten könne gpt-oss die biologischen Fähigkeiten geringfügig erhöhen, treibe den bestehenden Fähigkeitsstand aber nicht wesentlich voran.

Die Autorinnen und Autoren erklären, diese Ergebnisse hätten zu ihrer Entscheidung beigetragen, gpt-oss zu veröffentlichen. Außerdem schlagen sie MFT als mögliche Orientierung vor, um Schäden künftiger Veröffentlichungen offener Modelle abzuschätzen.

Diese Aussagen sind die berichteten Schlussfolgerungen des Abstracts. Der vorliegende Auszug liefert keine detaillierten Vergleichswerte, Evaluationsprotokolle oder Belege, anhand deren sich die Ergebnisse unabhängig beurteilen ließen. Die drei aufgeführten Abbildungen sind lediglich mit den Titeln „Introducing Control Room“, „BioBasicsBench“ und „GPT-6 Cyber“ bezeichnet; ihr Inhalt ist im Text nicht wiedergegeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 17 %beantwortet teilweise oder widerspricht
    • Luna 46 %einzelne zitierbare Belege
    • JEV 42 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 33 %einzelne zitierbare Belege
    • drex 36 %einzelne zitierbare Belege
    • d3-ultra 40 %einzelne zitierbare Belege

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 4 · 42 % · einzelne zitierbare Belege
    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 31 %umfangreiche Belege
    • amos 26 %einzelne zitierbare Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
  3. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 25 %nur am Rande erwähnt
    • Luna 55 %einzelne zitierbare Belege
    • JEV 27 %einzelne zitierbare Belege
    • amos 27 %einzelne zitierbare Belege
    • SubQ 35 %gleiches Oberthema, hilft nicht
    • drex 31 %einzelne zitierbare Belege
    • d3-ultra 43 %gleiches Oberthema, hilft nicht

    • SF-F3-T01 Würden Staaten auf die Fähigkeit führender KI-Modelle, biologische Systeme zu entwerfen, dieselben Prüfungen und Freigabeschwellen anwenden wie auf Cyber oder eine eigens ausgehandelte Regelung? Und welche eigenen Fähigkeitsschwellen, Prüfmethoden, Maßnahmen zur Eindämmung und Meldepflichten sollen für KI-Hilfe in der Chemie, bei radioaktiven Stoffen und in der Nukleartechnik gelten, statt alle Wissenschaft mit doppeltem Verwendungszweck in eine einzige Biologie- oder Cyber-Regel zu fassen? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
    • SF-F3-T02 Welche Verantwortung sollten KI-Firmen gegenüber der Öffentlichkeit tragen, wenn ihre Modelle grundlegende wissenschaftliche Entdeckungen ermöglichen, die gefährliche Anwendungen finden könnten? Luna: Stufe 4 · 45 % · einzelne zitierbare Belege
  4. SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 45 %gleiches Oberthema, hilft nicht
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %Hintergrund, keine Belege
    • Luna 64 %einzelne zitierbare Belege
    • JEV 56 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 28 %einzelne zitierbare Belege
    • drex 33 %einzelne zitierbare Belege
    • d3-ultra 38 %einzelne zitierbare Belege

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 4 · 34 % · einzelne zitierbare Belege
    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 4 · 23 % · einzelne zitierbare Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 23 %Hintergrund, keine Belege
    • Luna 59 %Hintergrund, keine Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht

    • SF-T1-T02 Welche messbaren Schwellen halten die weitere Skalierung von KI-Modellen automatisch an, wer prüft sie, und wie bleiben diese Auslöser bindend, wenn der Wettbewerb drückt? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 4 · 34 % · einzelne zitierbare Belege
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 25 %gleiches Oberthema, hilft nicht
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 65 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 21 %gleiches Oberthema, hilft nicht
    • Luna 47 %Hintergrund, keine Belege
    • JEV 46 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 62 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 27 %beantwortet teilweise oder widerspricht
    • Luna 57 %einzelne zitierbare Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 34 %einzelne zitierbare Belege
    • SubQ 36 %einzelne zitierbare Belege
    • drex 37 %einzelne zitierbare Belege
    • d3-ultra 50 %einzelne zitierbare Belege

    • SF-H2-T01 Was unterscheidet das Veröffentlichen von Modellgewichten (den gelernten Parametern) oder von Agentenwerkzeugen mit offenem Quellcode vom Freisetzen einer Waffe: die Absicht des Akteurs, die Selbstständigkeit des Modells, seine Verwendung oder der Schaden, den es von sich aus anrichten kann? Und können Staaten diese Grenze gemeinsam festschreiben, bevor ein offenes Modell im Mittelpunkt eines schweren Vorfalls steht? Luna: Stufe 4 · 42 % · einzelne zitierbare Belege
    • SF-H2-T02 Wenn ein Staat Agentenwerkzeuge mit offenem Quellcode als Risiko für Spionage und Datenabfluss einstuft und sich offen veröffentlichte Modellgewichte nicht zurückholen lassen: Welche konkreten, für die beteiligten Regierungen annehmbaren Regeln sollen die Veröffentlichung von Modellen mit offenen Gewichten und selbstständigen Agentenfähigkeiten bestimmen, und wie vermeiden diese Regeln, die offene Forschung abzuwürgen? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
    • SF-H2-T04 Wie sollen Staaten mit Open-Source-Modellen aus einem Land umgehen, die in einem anderen schädlich genutzt werden könnten, ohne legitime Forschungszusammenarbeit zu verhindern? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 69 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
  1. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 38 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 26 %gleiches Oberthema, hilft nicht
    • Luna 100 %kein Bezug
    • JEV 36 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 69 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →