https://arxiv.org/pdf/1908.08016
Zusammenfassung
Kurz
Der Bericht entwickelt ImageNet-UA mit 19 differenzierbaren Angriffen, um die Robustheit von Bildklassifikatoren gegen unbekannte Angriffsarten zu messen. Die Autoren finden, dass diese Robustheit von üblichen Lp-Messwerten abweicht und unter anderem L2-Training, Datenmischung und spezielle Trainingsverfahren helfen können; die Aussagen gelten jedoch nur für die getesteten Angriffe und Datensätze.
Mittel
Der Bericht führt ImageNet-UA ein, einen Benchmark für Bildklassifikatoren, die gegen beim Training unbekannte Angriffe bestehen sollen. Die Autoren entwickeln 19 differenzierbare Bildangriffe, darunter 18 nach eigener Darstellung neue, und messen mit UA2 die durchschnittliche Genauigkeit über acht ausgewählte Angriffe. Anders als viele klassische Robustheitstests umfasst der Benchmark auch Veränderungen etwa an Farben, Geometrie und Texturen. Die Angriffe erhalten White-Box-Zugriff; die getesteten Verteidigungen sollen die Testangriffe nicht kennen.
Die Ergebnisse legen nahe, dass UA2 nicht mit herkömmlicher Lp-Robustheit gleichzusetzen ist. L2-adversariales Training schneidet bei einem ResNet-50 besser ab als L∞-Training; auf CIFAR-10 erzielen auch Meta Noise Generation sowie die Kombination aus PixMix und adversarialem Training höhere UA2-Werte als die jeweiligen verglichenen Baselines. Vortraining und größere beziehungsweise neuere Modelle zeigen ebenfalls Vorteile. Zugleich senkt AutoAttack die scheinbare Robustheit von DINOv2 gegenüber der einfacheren PGD-Prüfung deutlich.
Die Befunde gelten für die im Benchmark festgelegten Angriffe und Stärken und belegen keine allgemeine Widerstandsfähigkeit im realen Einsatz. Einige Vergleiche beruhen auf CIFAR-10 oder ImageNet-Teilgruppen. Die Autoren stellen ImageNet-UA als Messrahmen für weitere Forschung vor.
Ausführlich lesen
Der Bericht stellt ImageNet-UA vor, ein Benchmark zur Prüfung, ob Bildklassifikatoren gegen Angriffe widerstandsfähig bleiben, die ihnen beim Training unbekannt waren. Die Autoren argumentieren, dass die verbreitete Forschung zu adversarialer Robustheit den Einsatzalltag nur teilweise abbildet: Sie konzentriere sich meist auf kleine Störungen innerhalb einer Lp-Kugel und teste Modelle häufig mit denselben Angriffsarten, gegen die sie trainiert wurden. In der Praxis könnten Angriffe vielfältiger und vorher unbekannt sein.
Dafür entwickeln die Autoren 19 differenzierbare Angriffe auf Bilder, von denen sie 18 als neu bezeichnen; der Elastic-Angriff ist angepasst. Die Angriffe verändern etwa Farben, Texturen, Bildgeometrie oder simulieren Schnee und JPEG-Artefakte. Sie werden mit Gradientenabstieg auf optimierbaren Variablen erzeugt. Für die zentrale Auswertung wählen die Autoren acht Angriffe aus und definieren UA2 als mittlere Klassifikationsgenauigkeit über diese Angriffe bei festgelegter Stärke. Sie untersuchen ImageNet und zusätzlich CIFAR-10 sowie in einzelnen Experimenten ImageNet100. Die Angriffe erhalten vollen White-Box-Zugriff auf das Modell; Verteidigungen dürfen laut Versuchsrahmen nicht auf die späteren Testangriffe trainiert sein.
Die Ergebnisse sprechen dafür, dass UA2 eine andere Robustheit misst als die üblichen Lp-Kennzahlen. Modelle mit hoher L∞-Robustheit schneiden nicht automatisch gut gegen die neuen Angriffe ab; die Autoren empfehlen L2-adversariales Training als stärkere Ausgangsbasis. Bei einem ResNet-50 steigt UA2 laut Bericht durch L2-Training von 1,6 auf 13,9 Prozent, gegenüber 10,0 Prozent mit L∞-Training. Andere Ansätze übertreffen diese Baselines in bestimmten Versuchen: Auf CIFAR-10 erreicht Meta Noise Generation 51,1 Prozent UA2, während die dort verglichenen Lp-Baselines darunterliegen. Die Kombination von PixMix und L∞-Training steigert UA2 gegenüber L∞-Training allein von 37,3 auf 45,1 Prozent bei der angegebenen Stärke. Auf einer 100-Klassen-Teilmenge von ImageNet berichten die Autoren außerdem Vorteile durch perceptual adversarial training und dessen Kombination mit Variational Regularization. Moderne Architektur, Vortraining und Skalierung gehen in ihren Auswertungen ebenfalls mit besseren Werten einher.
Die Reichweite der Befunde ist begrenzt. UA2 erfasst nur die ausgewählten Angriffe und Verzerrungsstufen des Benchmarks; es beweist nicht, dass ein Modell beliebigen realen oder zukünftigen Angriffen standhält. Mehrere Trainingsvergleiche betreffen CIFAR-10 oder kleine ImageNet-Teilgruppen, und der Bericht verschiebt die Skalierung mancher Methoden auf ImageNet-UA ausdrücklich auf spätere Arbeit. Zudem zeigt die ergänzende Prüfung, dass AutoAttack die unter PGD robust wirkenden DINOv2-Modelle stark schwächt und deren Genauigkeit in manchen Einstellungen auf null senkt. Eine Nutzerstudie deutet darauf hin, dass Menschen die angegriffenen Bilder meist weiterhin erkennen, sie belegt aber keine allgemeine semantische Unverändertheit. Die Autoren präsentieren ImageNet-UA daher als nützliches Messinstrument und Forschungsrichtung, nicht als Nachweis abgesicherter Robustheit im Einsatz.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassungen decken den Bericht überwiegend korrekt ab und erfinden nichts. Die Einordnung stützt sich auf den Bericht, der ein Robustheits-Benchmark ist und keine Governance-Fragen behandelt, weshalb die Stufen niedrig bleiben.
Im Bericht, aber nicht in der Zusammenfassung
- Die menschliche Studie zeigt, dass die Angriffe die Semantik weitgehend erhalten, denn Menschen erkennen über 90 Prozent der angegriffenen Bilder korrekt
- Perceptual Adversarial Training und Variational Regularization verbessern UA2 gegenüber den Lp-Baselines
- Die Korrelation zwischen Lp-Robustheit und UA2 gilt vor allem für adversarial trainierte Modelle, während einige reguläre Modelle ebenfalls bei UA2 zulegen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 30 %Hintergrund, keine Belege
- JEV
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus?
- SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern?
- SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen?
- SF-F1-T06 Welche unabhängige Prüfung des Maßstabs selbst auf Verzerrung je nach Modellarchitektur, auf Sprachabhängigkeit und auf Empfindlichkeit für die Trainingsherkunft des prüfenden Modells veröffentlichen die Beteiligten, bevor ein gemeinsamer Cyber-Maßstab angenommen wird, und wer führt sie unabhängig von den Laboren durch, deren Modelle er prüft?
- SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt?
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- clef 100 %kein Bezug
- Luna 52 %nur am Rande erwähnt
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 53 %einzelne zitierbare Belege
- JEV
- amos 24 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 33 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist?
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
- SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit?
- SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat?
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 40 %einzelne zitierbare Belege
- JEV
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Alle Berichte im Archiv