Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai22. Januar 2025 · Q008069

Trading Inference-Time Compute for Adversarial Robustness

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt vorläufige Ergebnisse, nach denen mehr Inferenz-Rechenaufwand bei Modellen wie o1 in vielen getesteten Fällen die Erfolgswahrscheinlichkeit adversarialer Angriffe senkte. Die Wirkung war jedoch nicht durchgehend: Manche Angriffe blieben erfolgreich, und Angreifer konnten die Nutzung des Rechenaufwands stören; weitere Einschränkungen verweist der Text an das Paper.

Mittel

Der Bericht präsentiert vorläufige Hinweise darauf, dass Reasoning-Modelle wie o1 bei mehr Rechenaufwand während der Inferenz gegen manche adversariale Angriffe robuster werden. Untersucht wurden o1-preview und o1-mini bei Mathematikaufgaben, einer adversarialen SimpleQA-Variante mit manipulierten Webseiten, Angriffsbildern, Missbrauchsanfragen aus StrongREJECT und einer internen Prüfung zur Befolgung einer Modellregel. Die Angriffe reichten von vielen vorgegebenen Beispielen über optimierte Soft Tokens bis zu Sprachmodellprogrammen und multimodalen Eingaben. Nicht jede Angriffsmethode wurde auf jeden Datensatz angewandt.

In vielen Fällen sank die Erfolgswahrscheinlichkeit der Angreifer mit mehr Inferenz-Rechenaufwand, teils nahezu auf null. Die Autoren führen dies darauf zurück, dass die Modelle nicht über die jeweilige Angriffsmethode informiert waren; sie sehen darin einen möglichen Ansatz auch gegen unbekannte Angriffe. Das ist jedoch kein allgemeiner Nachweis: Mitunter steigt die Erfolgsrate zunächst, und bei StrongREJECT mit einem Sprachmodellprogramm blieb sie teils bestehen, unter anderem weil bestimmte Informationen je nach Kontext zulässig sein können. Zudem können Angreifer das Modell dazu bringen, wenig oder ineffektiv zu rechnen. Eine Schulung zur besseren Nutzung des zugeteilten Rechenaufwands wurde nicht untersucht. Weitere Grenzen und offene Fragen verweist der Bericht an das Paper.

Ausführlich lesen

Der Bericht stellt vorläufige Hinweise darauf vor, dass mehr Rechenaufwand während der Inferenz die Widerstandsfähigkeit von Reasoning-Modellen wie o1 gegen bestimmte adversariale Angriffe verbessern kann. Adversariale Eingaben sollen ein Modell zu falschen oder unerwünschten Antworten bewegen. Der Text ordnet das Problem als seit Jahren ungelöst ein und betont, dass größere Modelle allein bislang keine ausreichende Robustheit gewährleistet hätten. Besonders relevant sei die Frage, weil KI-Systeme auch in wichtigen Anwendungsbereichen und als Agenten eingesetzt würden, die im Web recherchieren und für Nutzer handeln.

OpenAI untersuchte o1-preview und o1-mini bei verschiedenen Aufgaben und Angriffsmethoden. Gemessen wurde, wie häufig Angriffe gelingen, wenn das Modell zur Laufzeit unterschiedlich viel Rechenaufwand erhält. Die Aufgaben umfassten einfache und anspruchsvollere Mathematik mit gezielten falschen Antwortzielen, eine adversariale Variante von SimpleQA mit eingeschleusten Anweisungen in Webseiten, adversariale Bilder, Missbrauchsanfragen aus StrongREJECT sowie eine interne Prüfung zur Befolgung einer Regel der Modellspezifikation. Zu den betrachteten Angriffen gehörten viele vorgegebene Beispiele („many shot“), optimierte Soft Tokens, ein strukturiertes Sprachmodellprogramm zum Red Teaming und multimodale Eingaben. Laut Bericht wurden nicht alle Angriffsarten mit allen Datensätzen kombiniert; Einzelheiten dazu stehen im zugrunde liegenden Paper.

In vielen untersuchten Fällen sank die Erfolgswahrscheinlichkeit des Angreifers, wenn das Modell mehr Inferenz-Rechenaufwand erhielt, teils nahezu auf null. Mehr Ressourcen für den Angreifer konnten dessen Erfolg dagegen erhöhen. Der Bericht hebt hervor, dass die Modelle nicht eigens über die jeweilige Angriffsart informiert oder dafür adversarial trainiert worden seien. Die beobachtete Verbesserung wird daher dem zusätzlichen Rechenaufwand zugeschrieben. Die Autoren sehen darin einen möglichen Ansatz, der auch gegen bislang unbekannte Angriffe helfen könnte; der Text präsentiert dies als Hinweis, nicht als gesicherte allgemeine Lösung.

Der Bericht nennt wichtige Grenzen. Erstens kann die Angriffserfolgsrate anfangs steigen, bevor sie bei weiterem Rechenaufwand fällt. Als mögliche Erklärung vermuten die Autoren, dass das Modell zunächst genug rechnen muss, um überhaupt die Aufgabe zu lösen, deren Ergebnis der Angreifer manipulieren will. Zweitens bleibt die Erfolgsrate in manchen Fällen bestehen. Besonders deutlich sei dies bei StrongREJECT in Verbindung mit dem Sprachmodellprogramm: Manche Anfragen beträfen Informationen, deren Ausgabe je nach Kontext mit der Modellspezifikation vereinbar sein könne, sodass der Angriff passende Kontexte findet. Drittens lässt sich der Inferenz-Rechenaufwand nicht perfekt steuern. Angreifer können das Modell mitunter dazu bringen, wenig zu denken oder den verfügbaren Aufwand ineffektiv zu nutzen. Eine gezielte Schulung, den zugeteilten Rechenaufwand sinnvoll einzusetzen, wurde in dieser Arbeit nicht untersucht.

Die Autoren bewerten die Ergebnisse insgesamt als vielversprechendes Signal, räumen aber ein, dass weitere Forschung nötig ist. Der bereitgestellte Bericht verweist für zusätzliche Einschränkungen und offene Fragen auf das Paper; diese werden hier nicht ausgeführt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassungen geben den Bericht im Kern richtig wieder, die Kurzfassung ist aber sehr knapp. Lunas Anteilswerte (49 %, 41 %, 35 %) und die Stufenangaben sind im Bericht nicht belegt und wurden deshalb nicht übernommen. Die Einordnung von Luna weicht bei allen drei Fragen nach oben ab, weil der Bericht Robustheit gegen Angriffe behandelt und nicht Werte, Betrieb oder Selbstüberwachung von Laboren.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Mittelfassung nennt nicht, dass die Erfolgsrate bei manchen Angriffen zunächst steigt, weil der Verteidiger ein Mindestmaß an Rechenaufwand braucht, um das Angriffsziel zu erfüllen
  • Die Kurzfassung nennt weder die getesteten Aufgaben noch die Angriffsarten und lässt die Ergebnisse zu Mathematikaufgaben und SimpleQA aus
  • Die Aussage, dass die Verbesserung allein auf mehr Rechenaufwand beruht, weil das Modell die Art des Angriffs nicht kennt, wird in der Kurzfassung nicht erwähnt

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 46 %einzelne zitierbare Belege
    • amos 24 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 21 %gleiches Oberthema, hilft nicht
    • Luna 41 %Hintergrund, keine Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 26 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 22 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 23 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 48 %umfangreiche Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
Modelle teilen und schützen
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →