Testing robustness against unforeseen adversaries
Zusammenfassung
Kurz
Der Bericht schlägt mit UAR eine Kennzahl und ein dreiteiliges Verfahren vor, um Bildklassifikatoren gegen unbekannte adversariale Verzerrungen zu bewerten. Die Autoren berichten, dass Schutz gegen bekannte Angriffe nicht zuverlässig übertragbar ist und empfehlen daher Tests mit vielfältigen Angriffen und Verzerrungsstärken; die Aussagen beziehen sich auf die beschriebenen Untersuchungen.
Mittel
Der Bericht stellt ein Verfahren vor, um Bildklassifikatoren auf Widerstandsfähigkeit gegen Angriffe zu prüfen, die beim Training nicht bekannt waren. Die Autoren betonen, dass Schutz gegen einen bestimmten Angriff nicht zuverlässig auf andere Angriffstypen übergeht und zusätzliche Härtung die Robustheit gegen unbekannte Verzerrungen mitunter sogar senken kann.
Das Verfahren empfiehlt drei Schritte: Tests mit vielfältigen Verzerrungen wie L1, L2-JPEG, elastischen Verformungen und Nebel; die Prüfung eines breiten, an menschlicher Erkennbarkeit und starken Abwehrmodellen kalibrierten Bereichs von Verzerrungsstärken; sowie den Vergleich mit Modellen, die durch adversariales Training den jeweiligen Angriff bereits kennen. Dafür führen die Autoren UAR ein, eine Kennzahl für Robustheit gegen unerwartete Angriffe. Ein Wert nahe 100 soll eine Leistung vergleichbar mit einer gezielt vorbereiteten Abwehr anzeigen.
Die berichteten Ergebnisse sprechen laut Autoren gegen die Annahme, dass adversariales Training allgemein auf unbekannte Angriffe übertragbar ist. Sie empfehlen deshalb vielfältigere Tests. Die Aussagen gelten für die beschriebenen Untersuchungen; der Beitrag selbst enthält nicht die vollständigen Details des Fachartikels und belegt keine universelle Robustheit.
Ausführlich lesen
Der Bericht beschreibt ein Verfahren, mit dem sich prüfen lässt, wie gut ein neuronales Bildklassifikationsmodell gegen gezielte Bildveränderungen besteht, die beim Training nicht berücksichtigt wurden. OpenAI stellt dabei eine zentrale Einschränkung bisheriger Bewertungen heraus: Ein Modell kann gegen einen bekannten Angriffstyp gehärtet werden und trotzdem gegenüber anderen, zuvor nicht berücksichtigten Angriffen anfällig bleiben. Robustheit gegen einen Angriff überträgt sich dem Bericht zufolge nicht zuverlässig auf andere. In manchen Fällen kann stärkeres Härten gegen einen bekannten Angriff die Widerstandsfähigkeit gegen einen anderen sogar verschlechtern.
Adversariale Beispiele sind laut Bericht gezielt veränderte Eingaben, die ein Modell zu einer falschen Klassifikation bringen sollen, obwohl ein Mensch das Motiv weiterhin erkennen kann. Gezeigt werden unterschiedliche Arten solcher Veränderungen, darunter pixelbasierte Verzerrungen, JPEG-Veränderungen, elastische Verformungen, Nebel, Texturrauschen und künstlich erzeugter Schnee. Die Beispiele veranschaulichen, dass Angriffe sehr verschiedene Formen annehmen können.
Das vorgeschlagene Prüfverfahren hat drei Teile. Erstens sollen Modelle gegen vielfältige, bislang nicht verwendete Verzerrungsarten getestet werden. Die Autoren argumentieren, dass Prüfungen nur mit den verbreiteten L∞- oder L2-Angriffen nicht ausreichen, um die Robustheit gegen andere Verzerrungen vorherzusagen. Als mögliche zusätzliche Angriffstypen nennen sie L1, L2-JPEG, Elastic und Fog. Zweitens soll ein breiter Bereich von Verzerrungsstärken untersucht werden. Ein zu enger Bereich könne laut Bericht die Schlussfolgerungen über Robustheit umkehren. Die Stärke soll so kalibriert werden, dass die veränderten Bilder für Menschen noch erkennbar bleiben; die Autoren empfehlen außerdem, dafür auch starke adversarial trainierte Modelle heranzuziehen, da anspruchsvollere Abwehrmodelle stärkere sichtbare Verzerrungen erfordern können.
Drittens führt der Bericht UAR („Unforeseen Attack Robustness“) ein. Diese Kennzahl vergleicht die Leistung eines Modells gegen einen unerwarteten Angriff mit der einer Abwehr, die den Angriffstyp bereits kennt und durch adversariales Training gezielt darauf vorbereitet wurde. Ein UAR-Wert nahe 100 soll demnach eine Leistung nahe an dieser wissenden Abwehr anzeigen und gilt als anspruchsvolles Ziel.
Die berichteten Ergebnisse adversarial trainierter Modelle zeigen nach Darstellung der Autoren, dass die durch Training gewonnene Robustheit nicht breit auf unbekannte Verzerrungen übergeht und gegen solche Angriffe teils sogar sinken kann. Daraus leiten sie die Empfehlung ab, Modelle mit einer deutlich vielfältigeren Angriffsauswahl zu bewerten. Als Hilfsmittel nennen sie ein Codepaket mit Angriffen, Modellen und Kalibrierungen. Die Aussagen beziehen sich auf die im Bericht beschriebenen Tests und Angriffstypen; der Beitrag enthält selbst keine vollständigen Details des erwähnten Fachartikels und begründet daher keine allgemeine Garantie für die Robustheit beliebiger Modelle oder Angriffe.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Einordnung stützt sich nur auf den Berichtstext; die Stufen wurden unabhängig von Lunas Angaben vergeben. Der Bericht behandelt Robustheit von Bildklassifikatoren, nicht Laboraufsicht oder staatliche Stellen.
Im Bericht, aber nicht in der Zusammenfassung
- Warnung, dass die Prüfung nur einer Verzerrungsart ein falsches Sicherheitsgefühl erzeugen kann, etwa gegenüber Brillen- und Aufkleber-Angriffen
- Die Umkehr qualitativer Schlussfolgerungen bei zu enger Spanne der Verzerrungsstärken wird nur angedeutet, nicht ausdrücklich benannt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 27 %Hintergrund, keine Belege
- JEV 32 %beantwortet teilweise oder widerspricht
- amos 100 %kein Bezug
- SubQ 37 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern?
- SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen?
- SF-F1-T09 Wem gehört eine gemeinsam gebaute Testsammlung, wer darf sie an wessen Modellen erneut laufen lassen, darf ein Beteiligter seine Aufgaben zurückziehen, nachdem Ergebnisse veröffentlicht sind, und was wird dann aus der Vergleichbarkeit?
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 40 %Hintergrund, keine Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F4-T03 Welche neue Prüfung braucht jeder Einsatz, wenn Fähigkeiten zunehmend im Nachdenken des Modells während der Nutzung stecken statt in einem einmal trainierten Modell, und würden die für ein festes Modell gebauten Freigabetests das noch erfassen?
- SF-F4-T04 Wie wird ein Modell als sicher bescheinigt, bevor es von einem harmlosen Bereich wie Chat in einen folgenreichen Einsatzbereich wie Angriff, Führung und Kontrolle oder Cyber wechselt, in dem seine Entwickler es nie eingesetzt haben, und welches gemeinsame Verfahren erkennt gefährliches, neu auftretendes Verhalten vor dem Wechsel?
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 42 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 52 %einzelne zitierbare Belege
- JEV 30 %einzelne zitierbare Belege
- amos 26 %Hintergrund, keine Belege
- SubQ 36 %gleiches Oberthema, hilft nicht
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 57 %Hintergrund, keine Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-T1-T02 Welche messbaren Schwellen halten die weitere Skalierung von KI-Modellen automatisch an, wer prüft sie, und wie bleiben diese Auslöser bindend, wenn der Wettbewerb drückt?
- SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus?
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 35 %beantwortet teilweise oder widerspricht
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit?
- SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat?
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 41 %beantwortet teilweise oder widerspricht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 39 %gleiches Oberthema, hilft nicht
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- Alle Berichte im Archiv