Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind2. Januar 2024 · Q004740

Images altered to trick machine vision can influence humans too

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Laut den Autoren können kaum sichtbare Bildveränderungen, die KI-Modelle gezielt fehlleiten, auch menschliche Urteile subtil in Richtung einer Zielkategorie verschieben. In kontrollierten Versuchen wählten Teilnehmende passende Bilder häufiger als zufällig, erkannten aber weiterhin das ursprüngliche Motiv; wie stark der Effekt außerhalb solcher Versuche ist, bleibt im Bericht offen.

Mittel

Der Bericht stellt eine Studie vor, in der Forschende untersuchten, ob gezielte, für Menschen kaum sichtbare Bildveränderungen nicht nur KI-Modelle, sondern auch menschliche Urteile beeinflussen. Solche adversarialen Änderungen können ein Modell dazu bringen, ein Bild mit hoher Sicherheit falsch zu klassifizieren; laut Bericht können dafür Änderungen von höchstens zwei Stufen pro RGB-Pixel genügen.

In kontrollierten Versuchen sollten Teilnehmende aus jeweils zwei veränderten Bildern dasjenige auswählen, das einer vorgegebenen Kategorie – etwa „katzenähnlich“ – stärker entspricht. Obwohl keines der Bilder die Kategorie deutlich zeigte und die Auswahl oft willkürlich erschien, wählten die Teilnehmenden laut den Autoren das passende Bild bei vielen Paaren häufiger als zufällig. Eine Versuchsreihe sollte mögliche Artefakterklärungen ausschließen.

Die Menschen erkannten das ursprüngliche Motiv weiterhin, während die Modelle es falsch einordneten. Die Autoren sehen darin einen subtilen Einfluss auf menschliche Wahrnehmung und einen möglichen Ansatzpunkt für Forschung zu robusteren, stärker an menschlicher Wahrnehmung ausgerichteten KI-Systemen. Der Bericht enthält keine Angaben zu Stichprobengrößen oder Effektstärken und zeigt nicht, wie groß die Auswirkungen außerhalb kontrollierter Versuche sind.

Ausführlich lesen

Der Bericht beschreibt eine Studie dazu, ob subtile Bildveränderungen, die Bilderkennungsmodelle gezielt täuschen sollen, auch menschliche Wahrnehmung beeinflussen können. Die Autoren erklären, dass solche „adversarialen“ Veränderungen ein KI-Modell dazu bringen können, ein Bild mit hoher Sicherheit falsch einzuordnen: Ein Blumenvasenbild könnte etwa als Katze klassifiziert werden. Die Veränderungen können sehr klein sein; laut Bericht kann ein Angriff bereits wirken, wenn kein einzelner RGB-Pixel um mehr als zwei Stufen auf einer Skala von 0 bis 255 verändert wird.

Für die Untersuchung erzeugten die Forschenden aus Originalbildern jeweils Paare unterschiedlich adversarial veränderter Bilder. Ein Modell ordnete die Varianten mit hoher Sicherheit verschiedenen Zielklassen zu. Versuchspersonen sahen die Bildpaare und sollten beispielsweise entscheiden, welches Bild „katzenähnlicher“ sei, obwohl keines sichtbar eine Katze zeigte. Die Teilnehmenden beschrieben ihre Wahl dem Bericht zufolge häufig als willkürlich. Wären die Veränderungen für ihre Wahrnehmung ohne Einfluss, wäre eine Auswahlquote von ungefähr 50 Prozent zu erwarten.

Die Autoren berichten, dass die Versuchspersonen bei vielen Bildpaaren das zur Frage passende Bild zuverlässiger als zufällig auswählten. Dieser Effekt – von den Forschenden als Wahrnehmungsverzerrung bezeichnet – trat demnach auch bei sehr kleinen Veränderungen auf. Eine Reihe von Experimenten sollte mögliche Artefakterklärungen ausschließen. Der Bericht gibt allerdings keine konkreten Stichprobengrößen, Effektstärken oder Einzelheiten zu diesen Kontrollen an.

Die Autoren betonen zugleich einen Unterschied zwischen menschlicher und maschineller Wahrnehmung: Die Modelle verloren bei den veränderten Bildern ihre korrekte Einordnung der ursprünglichen Klasse, während Menschen das Ausgangsmotiv weiterhin klar erkennen konnten. Menschliche Wahrnehmung sei also weniger anfällig als die maschinelle, könne aber subtil in Richtung der von einem Modell bevorzugten Entscheidung gelenkt werden.

Als mögliche Bedeutung nennen die Autoren Fragen der KI-Sicherheit und -Robustheit. Die Ergebnisse könnten künftige Forschung dazu anregen, Computer-Vision-Modelle stärker an menschlichen visuellen Repräsentationen auszurichten und diese Übereinstimmung anhand menschlicher Anfälligkeit zu untersuchen. Der Bericht versteht die Befunde als Anlass für weitere Forschung zu den Auswirkungen adversarialer Bilder auf Menschen und KI. Er belegt nicht, wie stark solche Effekte außerhalb kontrollierter Versuche ausfallen oder welche Folgen sie im Alltag haben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassungen sind inhaltlich treu und enthalten keine erfundenen Angaben. Es fehlen zwei Nebenaussagen zur geringeren Anfälligkeit maschineller Wahrnehmung und zu Signalen unterhalb des Bewusstseins. Keine der drei Sammelfragen wird im Bericht substanziell beantwortet, und Teilfragen gab es nicht.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Bericht stellt fest, dass menschliche Wahrnehmung weniger anfällig für adversariale Störungen ist als maschinelle Wahrnehmung, da Menschen das Originalmotiv weiterhin klar erkennen.
  • Laut Bericht könnten Menschen Signale nutzen, die zu schwach sind, um sich ihrer bewusst zu sein oder Vertrauen darin zu haben.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
    • clef 100 %kein Bezug
    • Luna 59 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 71 %Hintergrund, keine Belege
    • JEV 31 %Hintergrund, keine Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 54 %Hintergrund, keine Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 34 %gleiches Oberthema, hilft nicht
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 58 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 59 %Hintergrund, keine Belege
    • JEV 56 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 62 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 62 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %Hintergrund, keine Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 62 %gleiches Oberthema, hilft nicht
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 48 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 73 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug
  4. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 50 %Hintergrund, keine Belege
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 86 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →