Benchmarking Robustness to Adversarial Image Obfuscations
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der vorliegende Auszug aus dem Abstract beschreibt einen ImageNet-basierten Benchmark, mit dem die Robustheit von Bildmodellen gegenüber absichtlichen, die ursprüngliche Aussage bewahrenden Verschleierungen untersucht werden soll. Konkrete Ergebnisse und Einzelheiten zum Benchmark enthält der Auszug nicht.
Mittel
Der bereitgestellte Bericht umfasst nur das Abstract und bibliografische Angaben zu einem Beitrag auf der NeurIPS 2023 Datasets and Benchmarks. Thema ist, dass absichtlich veränderte Bilder automatisierte Moderationsmodelle daran hindern können, regelwidrige Inhalte richtig zu erkennen.
Die Autorinnen und Autoren stellen einen neuen, auf ImageNet beruhenden Benchmark vor, mit dem sich solche Verschleierungen untersuchen lassen sollen. Laut Abstract umfasst er allgemeine und drastische Bildveränderungen, die die ursprüngliche Aussageabsicht bewahren sollen. Damit gehe er über ImageNet-C und ImageNet-C-Bar hinaus. Die Arbeit betrachtet diese Art der Bedrohung als verbreiteter als Angriffe, die durch eine Lp-Norm begrenzt sind. Der Benchmark soll Forschende dazu anregen, Modelle und Methoden zu testen und robustere Ansätze zu entwickeln.
Der Auszug enthält keine konkreten Versuchsergebnisse, Modellvergleiche oder Details zur Umsetzung und Messung des Benchmarks. Die Angaben zu dessen Zweck und Einordnung geben daher die Darstellung der Autorinnen und Autoren im Abstract wieder.
Ausführlich lesen
Der bereitgestellte Bericht besteht aus dem Abstract und bibliografischen Angaben zu einem auf der NeurIPS-Konferenz 2023 im Bereich „Datasets and Benchmarks“ veröffentlichten Beitrag. Er behandelt die Robustheit automatisierter Bildfilter und Moderationssysteme gegenüber absichtlicher Verschleierung regelwidriger Inhalte.
Die Autorinnen und Autoren beschreiben das Problem so: Menschen könnten Bilder gezielt verändern, um maschinelle Lernmodelle daran zu hindern, den ursprünglichen Inhalt korrekt zu erkennen. Als Beitrag stellen sie einen neuen Bildbenchmark auf Grundlage von ImageNet vor. Dieser soll solche Verschleierungen nachbilden und dadurch die Prüfung von Modellen unter entsprechenden Bedingungen ermöglichen. Laut Abstract unterscheidet sich der Benchmark von ImageNet-C und ImageNet-C-Bar dadurch, dass er allgemeine und drastische Veränderungen vorsieht, die zugleich die ursprüngliche Aussageabsicht des Bildes bewahren sollen. Die Arbeit ordnet diese Herausforderung als eine häufigere Art adversarieller Bedrohung ein als Angriffe, die durch eine Lp-Norm begrenzt sind.
Als Ziel nennen die Autorinnen und Autoren, Forschende dazu anzuregen, Modelle und Methoden mit dem Benchmark zu prüfen und Ansätze zu entwickeln, die gegenüber solchen Veränderungen robuster sind. Der vorliegende Text berichtet jedoch keine konkreten Versuchsergebnisse oder Modellvergleiche. Da nur das Abstract und Angaben zu Autorenschaft und Publikationsort bereitgestellt wurden, lassen sich daraus weder die genaue Konstruktion des Benchmarks noch seine einzelnen Verschleierungstypen, Messverfahren oder empirischen Befunde entnehmen. Aussagen über den Nutzen oder die Repräsentativität des Benchmarks sind daher hier als Zielsetzung beziehungsweise Einschätzung der Autorinnen und Autoren wiedergegeben, nicht als unabhängig belegte Ergebnisse.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug