Trading Inference-Time Compute for Adversarial Robustness
Zusammenfassung
Kurz
Der Bericht beschreibt vorläufige Ergebnisse, nach denen mehr Inferenz-Rechenaufwand bei Modellen wie o1 in vielen getesteten Fällen die Erfolgswahrscheinlichkeit adversarialer Angriffe senkte. Die Wirkung war jedoch nicht durchgehend: Manche Angriffe blieben erfolgreich, und Angreifer konnten die Nutzung des Rechenaufwands stören; weitere Einschränkungen verweist der Text an das Paper.
Mittel
Der Bericht präsentiert vorläufige Hinweise darauf, dass Reasoning-Modelle wie o1 bei mehr Rechenaufwand während der Inferenz gegen manche adversariale Angriffe robuster werden. Untersucht wurden o1-preview und o1-mini bei Mathematikaufgaben, einer adversarialen SimpleQA-Variante mit manipulierten Webseiten, Angriffsbildern, Missbrauchsanfragen aus StrongREJECT und einer internen Prüfung zur Befolgung einer Modellregel. Die Angriffe reichten von vielen vorgegebenen Beispielen über optimierte Soft Tokens bis zu Sprachmodellprogrammen und multimodalen Eingaben. Nicht jede Angriffsmethode wurde auf jeden Datensatz angewandt.
In vielen Fällen sank die Erfolgswahrscheinlichkeit der Angreifer mit mehr Inferenz-Rechenaufwand, teils nahezu auf null. Die Autoren führen dies darauf zurück, dass die Modelle nicht über die jeweilige Angriffsmethode informiert waren; sie sehen darin einen möglichen Ansatz auch gegen unbekannte Angriffe. Das ist jedoch kein allgemeiner Nachweis: Mitunter steigt die Erfolgsrate zunächst, und bei StrongREJECT mit einem Sprachmodellprogramm blieb sie teils bestehen, unter anderem weil bestimmte Informationen je nach Kontext zulässig sein können. Zudem können Angreifer das Modell dazu bringen, wenig oder ineffektiv zu rechnen. Eine Schulung zur besseren Nutzung des zugeteilten Rechenaufwands wurde nicht untersucht. Weitere Grenzen und offene Fragen verweist der Bericht an das Paper.
Ausführlich lesen
Der Bericht stellt vorläufige Hinweise darauf vor, dass mehr Rechenaufwand während der Inferenz die Widerstandsfähigkeit von Reasoning-Modellen wie o1 gegen bestimmte adversariale Angriffe verbessern kann. Adversariale Eingaben sollen ein Modell zu falschen oder unerwünschten Antworten bewegen. Der Text ordnet das Problem als seit Jahren ungelöst ein und betont, dass größere Modelle allein bislang keine ausreichende Robustheit gewährleistet hätten. Besonders relevant sei die Frage, weil KI-Systeme auch in wichtigen Anwendungsbereichen und als Agenten eingesetzt würden, die im Web recherchieren und für Nutzer handeln.
OpenAI untersuchte o1-preview und o1-mini bei verschiedenen Aufgaben und Angriffsmethoden. Gemessen wurde, wie häufig Angriffe gelingen, wenn das Modell zur Laufzeit unterschiedlich viel Rechenaufwand erhält. Die Aufgaben umfassten einfache und anspruchsvollere Mathematik mit gezielten falschen Antwortzielen, eine adversariale Variante von SimpleQA mit eingeschleusten Anweisungen in Webseiten, adversariale Bilder, Missbrauchsanfragen aus StrongREJECT sowie eine interne Prüfung zur Befolgung einer Regel der Modellspezifikation. Zu den betrachteten Angriffen gehörten viele vorgegebene Beispiele („many shot“), optimierte Soft Tokens, ein strukturiertes Sprachmodellprogramm zum Red Teaming und multimodale Eingaben. Laut Bericht wurden nicht alle Angriffsarten mit allen Datensätzen kombiniert; Einzelheiten dazu stehen im zugrunde liegenden Paper.
In vielen untersuchten Fällen sank die Erfolgswahrscheinlichkeit des Angreifers, wenn das Modell mehr Inferenz-Rechenaufwand erhielt, teils nahezu auf null. Mehr Ressourcen für den Angreifer konnten dessen Erfolg dagegen erhöhen. Der Bericht hebt hervor, dass die Modelle nicht eigens über die jeweilige Angriffsart informiert oder dafür adversarial trainiert worden seien. Die beobachtete Verbesserung wird daher dem zusätzlichen Rechenaufwand zugeschrieben. Die Autoren sehen darin einen möglichen Ansatz, der auch gegen bislang unbekannte Angriffe helfen könnte; der Text präsentiert dies als Hinweis, nicht als gesicherte allgemeine Lösung.
Der Bericht nennt wichtige Grenzen. Erstens kann die Angriffserfolgsrate anfangs steigen, bevor sie bei weiterem Rechenaufwand fällt. Als mögliche Erklärung vermuten die Autoren, dass das Modell zunächst genug rechnen muss, um überhaupt die Aufgabe zu lösen, deren Ergebnis der Angreifer manipulieren will. Zweitens bleibt die Erfolgsrate in manchen Fällen bestehen. Besonders deutlich sei dies bei StrongREJECT in Verbindung mit dem Sprachmodellprogramm: Manche Anfragen beträfen Informationen, deren Ausgabe je nach Kontext mit der Modellspezifikation vereinbar sein könne, sodass der Angriff passende Kontexte findet. Drittens lässt sich der Inferenz-Rechenaufwand nicht perfekt steuern. Angreifer können das Modell mitunter dazu bringen, wenig zu denken oder den verfügbaren Aufwand ineffektiv zu nutzen. Eine gezielte Schulung, den zugeteilten Rechenaufwand sinnvoll einzusetzen, wurde in dieser Arbeit nicht untersucht.
Die Autoren bewerten die Ergebnisse insgesamt als vielversprechendes Signal, räumen aber ein, dass weitere Forschung nötig ist. Der bereitgestellte Bericht verweist für zusätzliche Einschränkungen und offene Fragen auf das Paper; diese werden hier nicht ausgeführt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassungen geben den Bericht im Kern richtig wieder, die Kurzfassung ist aber sehr knapp. Lunas Anteilswerte (49 %, 41 %, 35 %) und die Stufenangaben sind im Bericht nicht belegt und wurden deshalb nicht übernommen. Die Einordnung von Luna weicht bei allen drei Fragen nach oben ab, weil der Bericht Robustheit gegen Angriffe behandelt und nicht Werte, Betrieb oder Selbstüberwachung von Laboren.
Im Bericht, aber nicht in der Zusammenfassung
- Die Mittelfassung nennt nicht, dass die Erfolgsrate bei manchen Angriffen zunächst steigt, weil der Verteidiger ein Mindestmaß an Rechenaufwand braucht, um das Angriffsziel zu erfüllen
- Die Kurzfassung nennt weder die getesteten Aufgaben noch die Angriffsarten und lässt die Ergebnisse zu Mathematikaufgaben und SimpleQA aus
- Die Aussage, dass die Verbesserung allein auf mehr Rechenaufwand beruht, weil das Modell die Art des Angriffs nicht kennt, wird in der Kurzfassung nicht erwähnt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M1 Ab wann ist ein KI-Vorfall so ernst, dass Staaten ihn einander melden müssen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-M5 Was muss vor und nach einem Vorfall geschehen, damit Verantwortliche einstehen, man daraus lernt, Beweise bleiben und Betroffene auch über Grenzen hinweg zu ihrem Recht kommen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 46 %einzelne zitierbare Belege
- amos 24 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %gleiches Oberthema, hilft nicht
- amos 26 %nur am Rande erwähnt
- SubQ 65 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %nur am Rande erwähnt
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 21 %gleiches Oberthema, hilft nicht
- Luna 41 %Hintergrund, keine Belege
- JEV 50 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 41 %gleiches Oberthema, hilft nicht
- drex 26 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 32 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 64 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %Hintergrund, keine Belege
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 22 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 34 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 38 %gleiches Oberthema, hilft nicht
- drex 23 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 48 %umfangreiche Belege
- amos 26 %Hintergrund, keine Belege
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 31 %nur am Rande erwähnt
- JEV 56 %nur am Rande erwähnt
- amos 31 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Offenlegung und Rechenschaft
- SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 61 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 60 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Alle Berichte im Archiv