Robust adversarial inputs
Zusammenfassung
Kurz
Der Bericht beschreibt adversariale Katzenbilder, die Klassifikatoren nach Angaben der Forschenden auch bei zufälligen Maßstabs- und weiteren Bildveränderungen als Computer einordnen. Das robustere Beispiel ist sichtbar stärker verändert; ein realer Angriff auf ein autonomes Fahrzeug wird nicht belegt.
Mittel
Der Bericht schildert Experimente, in denen ein Katzenbild gezielt verändert wurde, sodass ein neuronaler Klassifikator es auch bei unterschiedlichen Maßstäben und Perspektiven als „Monitor“ oder „Desktopcomputer“ einordnet. Die Forschenden wollen damit die Annahme infrage stellen, dass solche Angriffe durch wechselnde Blickwinkel schwer umzusetzen seien. Gewöhnliche adversariale Beispiele seien unter Transformationen oft nicht robust: Schon eine Vergrößerung um 1,002 könne laut Bericht die korrekte Klasse „getigerte Katze“ wieder durchsetzen.
Für robustere Beispiele optimieren die Forschenden gegen eine Gruppe zufällig skalierender Klassifikatoren. Ergänzen sie zufällige Drehungen, Verschiebungen, Skalierungen, Rauschen und Mittelwertänderungen, soll das Bild auch gegenüber diesen Transformationen täuschen. Die Transformationen werden laut Bericht beim Test zufällig gezogen. Das transformationsinvariante Bild sei sichtbar stärker verändert als das nur maßstabsinvariante; die Forschenden vermuten, dass Robustheit gegenüber mehr Veränderungen kleine Störungen erschwert. Auch die mögliche Beseitigung sichtbarer Artefakte durch weitere Anpassungen wird lediglich erwartet. Die beschriebenen Ergebnisse zeigen keinen erfolgreichen Angriff auf ein autonomes Fahrzeug im realen Einsatz.
Ausführlich lesen
Der Bericht beschreibt Experimente zu sogenannten adversarialen Eingaben: gezielt veränderten Bildern, die neuronale Bildklassifikatoren zu falschen Vorhersagen bringen sollen. Die Autorinnen und Autoren berichten, ein Katzenfoto so verändert zu haben, dass ein Klassifikator es auch bei unterschiedlichen Bildgrößen und Perspektiven als „Monitor“ oder „Desktopcomputer“ einordnet. Das Bild sei auf einem gewöhnlichen Farbdrucker ausdruckbar. Damit stellen sie eine zuvor geäußerte Einschätzung infrage, nach der selbstfahrende Autos wegen ihrer Erfassung aus mehreren Maßstäben und Blickwinkeln schwer gezielt zu täuschen seien.
Als Ausgangspunkt nennen sie gewöhnliche adversariale Beispiele, deren Täuschung bei Bildtransformationen oft scheitert. Im angeführten Beispiel reicht dem Bericht zufolge eine Vergrößerung um den Faktor 1,002, damit Inception v3 die korrekte Klasse „getigerte Katze“ höher bewertet als das falsche Ziel „Desktopcomputer“.
Für robustere Beispiele verwenden die Forschenden nach eigener Darstellung Projected Gradient Descent, ein Optimierungsverfahren, das kleine Bildänderungen sucht. Anders als bei einer Optimierung für einen einzelnen Blickwinkel trainieren sie gegen eine Gruppe stochastischer Klassifikatoren, die das Bild vor der Klassifikation zufällig skalieren. So entstehe ein maßstabsinvariantes Beispiel. Selbst wenn Änderungen auf die Katzenpixel beschränkt würden, lasse sich laut Bericht ein Bild erzeugen, das bei allen angestrebten Maßstäben täuscht.
Für weitere Robustheit ergänzen die Forschenden zufällige Drehungen, Verschiebungen, Skalierungen, Rauschen und Änderungen des Mittelwerts zu den während der Optimierung verwendeten Transformationen. Das Ergebnis soll gegenüber der Verteilung dieser Transformationen adversarial bleiben; die Transformationen würden auch beim Test zufällig gezogen. Der Bericht räumt zugleich ein, dass das transformationsinvariante Beispiel sichtbar stärker verändert ist als das nur maßstabsinvariante. Die Autorinnen und Autoren halten es für plausibel, dass kleine Störungen schwieriger zu finden sind, wenn ein Beispiel gegenüber mehr Transformationen robust sein muss. Sie vermuten außerdem, dass weitere Anpassungen sichtbare Artefakte beseitigen könnten. Das wird als Erwartung formuliert, nicht als nachgewiesenes Ergebnis.
Die dargestellten Befunde betreffen die beschriebenen Bildklassifikatoren und Transformationen. Der Bericht belegt damit nicht, dass ein konkretes autonomes Fahrzeug unter realen Einsatzbedingungen erfolgreich angegriffen wurde.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Einordnung enthielt keine Fragen, daher ist die Einordnung leer. Bewertet wurde die mittlere Zusammenfassung. Die kurze Fassung ist ebenfalls unvollständig, da sie die gedruckte Katze und das Ensemble-Verfahren nicht nennt. Ihre Aussage zum autonomen Fahrzeug ist vorsichtiger formuliert, weil sie nur sagt, ein realer Angriff werde nicht belegt.
Im Bericht, aber nicht in der Zusammenfassung
- Ein gedrucktes Katzenbild auf einem handelsüblichen Farbdrucker täuscht den Klassifikator unabhängig von Zoom und Drehung. Das ist die zentrale Demonstration des Berichts zur physischen Welt.
- Der Bezug zur Vorwochen-Aussage, selbstfahrende Autos seien schwer zu täuschen, wird nur indirekt umschrieben.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, die beschriebenen Ergebnisse zeigten keinen erfolgreichen Angriff auf ein autonomes Fahrzeug im realen Einsatz, steht so nicht im Bericht. Der Bericht widerspricht nur der Behauptung zur Robustheit gegenüber Blickwinkeln und trifft keine Aussage zum realen Einsatz.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra