Images altered to trick machine vision can influence humans too
Zusammenfassung
Kurz
Laut den Autoren können kaum sichtbare Bildveränderungen, die KI-Modelle gezielt fehlleiten, auch menschliche Urteile subtil in Richtung einer Zielkategorie verschieben. In kontrollierten Versuchen wählten Teilnehmende passende Bilder häufiger als zufällig, erkannten aber weiterhin das ursprüngliche Motiv; wie stark der Effekt außerhalb solcher Versuche ist, bleibt im Bericht offen.
Mittel
Der Bericht stellt eine Studie vor, in der Forschende untersuchten, ob gezielte, für Menschen kaum sichtbare Bildveränderungen nicht nur KI-Modelle, sondern auch menschliche Urteile beeinflussen. Solche adversarialen Änderungen können ein Modell dazu bringen, ein Bild mit hoher Sicherheit falsch zu klassifizieren; laut Bericht können dafür Änderungen von höchstens zwei Stufen pro RGB-Pixel genügen.
In kontrollierten Versuchen sollten Teilnehmende aus jeweils zwei veränderten Bildern dasjenige auswählen, das einer vorgegebenen Kategorie – etwa „katzenähnlich“ – stärker entspricht. Obwohl keines der Bilder die Kategorie deutlich zeigte und die Auswahl oft willkürlich erschien, wählten die Teilnehmenden laut den Autoren das passende Bild bei vielen Paaren häufiger als zufällig. Eine Versuchsreihe sollte mögliche Artefakterklärungen ausschließen.
Die Menschen erkannten das ursprüngliche Motiv weiterhin, während die Modelle es falsch einordneten. Die Autoren sehen darin einen subtilen Einfluss auf menschliche Wahrnehmung und einen möglichen Ansatzpunkt für Forschung zu robusteren, stärker an menschlicher Wahrnehmung ausgerichteten KI-Systemen. Der Bericht enthält keine Angaben zu Stichprobengrößen oder Effektstärken und zeigt nicht, wie groß die Auswirkungen außerhalb kontrollierter Versuche sind.
Ausführlich lesen
Der Bericht beschreibt eine Studie dazu, ob subtile Bildveränderungen, die Bilderkennungsmodelle gezielt täuschen sollen, auch menschliche Wahrnehmung beeinflussen können. Die Autoren erklären, dass solche „adversarialen“ Veränderungen ein KI-Modell dazu bringen können, ein Bild mit hoher Sicherheit falsch einzuordnen: Ein Blumenvasenbild könnte etwa als Katze klassifiziert werden. Die Veränderungen können sehr klein sein; laut Bericht kann ein Angriff bereits wirken, wenn kein einzelner RGB-Pixel um mehr als zwei Stufen auf einer Skala von 0 bis 255 verändert wird.
Für die Untersuchung erzeugten die Forschenden aus Originalbildern jeweils Paare unterschiedlich adversarial veränderter Bilder. Ein Modell ordnete die Varianten mit hoher Sicherheit verschiedenen Zielklassen zu. Versuchspersonen sahen die Bildpaare und sollten beispielsweise entscheiden, welches Bild „katzenähnlicher“ sei, obwohl keines sichtbar eine Katze zeigte. Die Teilnehmenden beschrieben ihre Wahl dem Bericht zufolge häufig als willkürlich. Wären die Veränderungen für ihre Wahrnehmung ohne Einfluss, wäre eine Auswahlquote von ungefähr 50 Prozent zu erwarten.
Die Autoren berichten, dass die Versuchspersonen bei vielen Bildpaaren das zur Frage passende Bild zuverlässiger als zufällig auswählten. Dieser Effekt – von den Forschenden als Wahrnehmungsverzerrung bezeichnet – trat demnach auch bei sehr kleinen Veränderungen auf. Eine Reihe von Experimenten sollte mögliche Artefakterklärungen ausschließen. Der Bericht gibt allerdings keine konkreten Stichprobengrößen, Effektstärken oder Einzelheiten zu diesen Kontrollen an.
Die Autoren betonen zugleich einen Unterschied zwischen menschlicher und maschineller Wahrnehmung: Die Modelle verloren bei den veränderten Bildern ihre korrekte Einordnung der ursprünglichen Klasse, während Menschen das Ausgangsmotiv weiterhin klar erkennen konnten. Menschliche Wahrnehmung sei also weniger anfällig als die maschinelle, könne aber subtil in Richtung der von einem Modell bevorzugten Entscheidung gelenkt werden.
Als mögliche Bedeutung nennen die Autoren Fragen der KI-Sicherheit und -Robustheit. Die Ergebnisse könnten künftige Forschung dazu anregen, Computer-Vision-Modelle stärker an menschlichen visuellen Repräsentationen auszurichten und diese Übereinstimmung anhand menschlicher Anfälligkeit zu untersuchen. Der Bericht versteht die Befunde als Anlass für weitere Forschung zu den Auswirkungen adversarialer Bilder auf Menschen und KI. Er belegt nicht, wie stark solche Effekte außerhalb kontrollierter Versuche ausfallen oder welche Folgen sie im Alltag haben.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassungen sind inhaltlich treu und enthalten keine erfundenen Angaben. Es fehlen zwei Nebenaussagen zur geringeren Anfälligkeit maschineller Wahrnehmung und zu Signalen unterhalb des Bewusstseins. Keine der drei Sammelfragen wird im Bericht substanziell beantwortet, und Teilfragen gab es nicht.
Im Bericht, aber nicht in der Zusammenfassung
- Der Bericht stellt fest, dass menschliche Wahrnehmung weniger anfällig für adversariale Störungen ist als maschinelle Wahrnehmung, da Menschen das Originalmotiv weiterhin klar erkennen.
- Laut Bericht könnten Menschen Signale nutzen, die zu schwach sind, um sich ihrer bewusst zu sein oder Vertrauen darin zu haben.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 59 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 71 %Hintergrund, keine Belege
- JEV 31 %Hintergrund, keine Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 38 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 62 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 34 %gleiches Oberthema, hilft nicht
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 61 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 51 %Hintergrund, keine Belege
- JEV 58 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 59 %Hintergrund, keine Belege
- JEV 56 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 62 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 61 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 62 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 60 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %Hintergrund, keine Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 62 %gleiches Oberthema, hilft nicht
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 56 %Hintergrund, keine Belege
- JEV 48 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 73 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 50 %Hintergrund, keine Belege
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 60 %gleiches Oberthema, hilft nicht
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 86 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Weitere Berichte zu diesen Fragen
- Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- Alle Berichte im Archiv