Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openaiohne Datum · Q009454

Transfer of Adversarial Robustness Between Perturbation Types

arxiv.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

In Experimenten mit ResNet-50 auf einem 100-Klassen-Teil von ImageNet übertrug sich Robustheit gegen fünf Arten gezielter Bildstörungen nur begrenzt; Training gegen starke elastische Verformungen konnte die Robustheit gegen andere Angriffe sogar verschlechtern. Die Autoren empfehlen Tests mit mehreren Störungsarten und sorgfältig gewählten Stärkebereichen, weisen aber darauf hin, dass ihre Befunde nur die untersuchten Modelle und Angriffe betreffen.

Mittel

Der Bericht untersucht, ob Robustheit gegen eine Art gezielter Bildstörung auch vor anderen Angriffen schützt. Dafür trainierten die Autoren ResNet-50-Modelle auf einem 100-Klassen-Teil von ImageNet adversarial mit jeweils einer von fünf Störungsarten und prüften sie mit insgesamt 32 Angriffen: L∞, L2, L1, JPEG und elastischen Verformungen.

Die Ergebnisse sprechen dafür, dass Robustheit nur begrenzt zwischen Störungsarten übergeht. Besonders Training gegen starke elastische Verformungen verbesserte zwar die Ergebnisse gegen diese Art, verschlechterte aber die Genauigkeit gegen die übrigen Angriffe. Training gegen L2-Angriffe schnitt im Vergleich zu L∞ bei den meisten anderen Angriffsarten etwas besser ab, bei L∞ selbst jedoch leicht schlechter. Die Autoren betonen, dass Vergleiche sorgfältig abgestimmte Bereiche von Störungsstärken benötigen: Ein eingeschränkter oder unpassender ε-Bereich kann irreführende Eindrücke erzeugen.

Die Befunde sind empirisch und gelten für die untersuchte Architektur, Datenauswahl und Angriffspalette. Diese deckt nicht alle denkbaren praktischen Störungen ab; zudem war unklar, ob der elastische Angriff vollständig optimiert wurde. Empfohlen wird daher eine Evaluation über vielfältige Störungsarten und -stärken.

Ausführlich lesen

Der Bericht untersucht, ob adversariale Robustheit von tiefen neuronalen Netzen zwischen unterschiedlichen Arten gezielter Bildstörungen übertragbar ist. Die Autoren argumentieren, dass Tests nur mit einer einzelnen Störungsart reale Angriffe nicht ausreichend abbilden: Ein Modell, das gegen kleine pixelweise Änderungen robust ist, kann etwa weiterhin durch Verschiebungen, Verzerrungen oder andere Veränderungen verwundbar sein. Sie empfehlen deshalb, Abwehrmaßnahmen mit mehreren Störungsarten und unterschiedlichen Stärken zu prüfen.

Dazu trainierten und bewerteten sie ResNet-50-Modelle auf einem 100-Klassen-Teil von ImageNet-1K in voller Bildauflösung. Verglichen wurden 32 Angriffe aus fünf Familien: Störungen mit L∞-, L2- und L1-Beschränkung, JPEG-Veränderungen sowie elastische Verformungen. Die Modelle wurden jeweils adversarial auf eine Angriffsart trainiert und anschließend mit Angriffen aller fünf Arten geprüft. Die Angriffe waren gezielt; für Training und Auswertung wurden unter anderem unterschiedlich viele Optimierungsschritte verwendet. Die Autoren verwendeten für L∞, L2, JPEG und elastische Verformungen Varianten von Projected Gradient Descent, für L1 den Frank-Wolfe-Algorithmus.

Ein zentrales Ergebnis betrifft die Wahl der Störungsstärke ε. Nach Darstellung des Berichts kann ein enger oder ungünstig gewählter Wertebereich irreführende Vergleiche erzeugen. Die Autoren zeigen im Anhang, dass ein absichtlich verkürzter Wertebereich beispielsweise den falschen Eindruck erweckt, L1-Angriffe seien besonders stark oder andere Trainingsarten schützten kaum gegen elastische Angriffe. Sie empfehlen daher, für jede Angriffsart einen Bereich zu wählen, der von vergleichbarer Wirkung ausgeht: Bei den kleinsten Werten sollte die Genauigkeit ungefähr der normalen Validierungsgenauigkeit entsprechen; die größten Werte sollten die Genauigkeit deutlich senken oder Bilder für Menschen verwirrend verändern. Auch bei vergleichbaren Bereichen könne die genaue Skalierung die Interpretation beeinflussen.

Den Experimenten zufolge übertrug sich Robustheit gegen elastische Verformungen schlecht auf die übrigen Angriffstypen. Training gegen stärkere elastische Verformungen verbesserte zwar laut den berichteten Ergebnissen die Genauigkeit gegen solche Verformungen, senkte aber zugleich die Genauigkeit gegen alle anderen untersuchten Angriffe. Das illustriert, dass mehr Robustheit gegen eine Störungsart andere Robustheit beeinträchtigen kann. Außerdem fanden die Autoren Hinweise darauf, dass Training gegen L2-Angriffe insgesamt etwas besser abschnitt als Training gegen L∞: Es war bei L∞-Angriffen leicht schlechter, bei den übrigen Angriffen aber besser. Sie bezeichnen dies als empirischen Hinweis, nicht als allgemeingültigen Beweis.

Die Aussagekraft ist begrenzt: Untersucht wurden eine Architektur, ein 100-Klassen-Teil von ImageNet und eine bestimmte Auswahl gezielter Angriffe und Stärkebereiche. Die Autoren räumen ein, dass diese Auswahl nicht alle praktisch möglichen Störungen abdeckt. Zudem waren sie unsicher, ob die Optimierung des elastischen Angriffs trotz erhöhter Schrittzahl vollständig gelöst wurde. Die Ergebnisse begründen daher vor allem eine breitere und sorgfältig abgestimmte Evaluation; sie belegen keine universelle Rangfolge von Abwehrverfahren.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassungen geben den Bericht im Kern treu wieder; Luna lässt aber den L2-gegenüber-L∞-Befund in der Kurzfassung weg. Die beiden Sammelfragen SF-V5 und SF-P3 stammen nicht aus dem Thema des Berichts (Robustheitsübertragung zwischen Störungsarten), daher fallen die Einordnungen schwach aus. Teilfragen gab es keine.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Kurzfassung nennt den Befund nicht, dass Training gegen L2 etwas bessere Ergebnisse brachte als Training gegen L∞ (zentraler Beitrag des Berichts).
  • Die Kurzfassung erwähnt nicht, dass das JPEG-Angriffsverfahren als neu gilt und der L1-Angriff per Frank-Wolfe statt PGD optimiert wurde.
  • Die Kurzfassung nennt die 32 Angriffe nicht ausdrücklich.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV offen
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV offen
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
Offenlegung und Rechenschaft

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →