Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai17. Juli 2017 · Q008590

Robust adversarial inputs

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt adversariale Katzenbilder, die Klassifikatoren nach Angaben der Forschenden auch bei zufälligen Maßstabs- und weiteren Bildveränderungen als Computer einordnen. Das robustere Beispiel ist sichtbar stärker verändert; ein realer Angriff auf ein autonomes Fahrzeug wird nicht belegt.

Mittel

Der Bericht schildert Experimente, in denen ein Katzenbild gezielt verändert wurde, sodass ein neuronaler Klassifikator es auch bei unterschiedlichen Maßstäben und Perspektiven als „Monitor“ oder „Desktopcomputer“ einordnet. Die Forschenden wollen damit die Annahme infrage stellen, dass solche Angriffe durch wechselnde Blickwinkel schwer umzusetzen seien. Gewöhnliche adversariale Beispiele seien unter Transformationen oft nicht robust: Schon eine Vergrößerung um 1,002 könne laut Bericht die korrekte Klasse „getigerte Katze“ wieder durchsetzen.

Für robustere Beispiele optimieren die Forschenden gegen eine Gruppe zufällig skalierender Klassifikatoren. Ergänzen sie zufällige Drehungen, Verschiebungen, Skalierungen, Rauschen und Mittelwertänderungen, soll das Bild auch gegenüber diesen Transformationen täuschen. Die Transformationen werden laut Bericht beim Test zufällig gezogen. Das transformationsinvariante Bild sei sichtbar stärker verändert als das nur maßstabsinvariante; die Forschenden vermuten, dass Robustheit gegenüber mehr Veränderungen kleine Störungen erschwert. Auch die mögliche Beseitigung sichtbarer Artefakte durch weitere Anpassungen wird lediglich erwartet. Die beschriebenen Ergebnisse zeigen keinen erfolgreichen Angriff auf ein autonomes Fahrzeug im realen Einsatz.

Ausführlich lesen

Der Bericht beschreibt Experimente zu sogenannten adversarialen Eingaben: gezielt veränderten Bildern, die neuronale Bildklassifikatoren zu falschen Vorhersagen bringen sollen. Die Autorinnen und Autoren berichten, ein Katzenfoto so verändert zu haben, dass ein Klassifikator es auch bei unterschiedlichen Bildgrößen und Perspektiven als „Monitor“ oder „Desktopcomputer“ einordnet. Das Bild sei auf einem gewöhnlichen Farbdrucker ausdruckbar. Damit stellen sie eine zuvor geäußerte Einschätzung infrage, nach der selbstfahrende Autos wegen ihrer Erfassung aus mehreren Maßstäben und Blickwinkeln schwer gezielt zu täuschen seien.

Als Ausgangspunkt nennen sie gewöhnliche adversariale Beispiele, deren Täuschung bei Bildtransformationen oft scheitert. Im angeführten Beispiel reicht dem Bericht zufolge eine Vergrößerung um den Faktor 1,002, damit Inception v3 die korrekte Klasse „getigerte Katze“ höher bewertet als das falsche Ziel „Desktopcomputer“.

Für robustere Beispiele verwenden die Forschenden nach eigener Darstellung Projected Gradient Descent, ein Optimierungsverfahren, das kleine Bildänderungen sucht. Anders als bei einer Optimierung für einen einzelnen Blickwinkel trainieren sie gegen eine Gruppe stochastischer Klassifikatoren, die das Bild vor der Klassifikation zufällig skalieren. So entstehe ein maßstabsinvariantes Beispiel. Selbst wenn Änderungen auf die Katzenpixel beschränkt würden, lasse sich laut Bericht ein Bild erzeugen, das bei allen angestrebten Maßstäben täuscht.

Für weitere Robustheit ergänzen die Forschenden zufällige Drehungen, Verschiebungen, Skalierungen, Rauschen und Änderungen des Mittelwerts zu den während der Optimierung verwendeten Transformationen. Das Ergebnis soll gegenüber der Verteilung dieser Transformationen adversarial bleiben; die Transformationen würden auch beim Test zufällig gezogen. Der Bericht räumt zugleich ein, dass das transformationsinvariante Beispiel sichtbar stärker verändert ist als das nur maßstabsinvariante. Die Autorinnen und Autoren halten es für plausibel, dass kleine Störungen schwieriger zu finden sind, wenn ein Beispiel gegenüber mehr Transformationen robust sein muss. Sie vermuten außerdem, dass weitere Anpassungen sichtbare Artefakte beseitigen könnten. Das wird als Erwartung formuliert, nicht als nachgewiesenes Ergebnis.

Die dargestellten Befunde betreffen die beschriebenen Bildklassifikatoren und Transformationen. Der Bericht belegt damit nicht, dass ein konkretes autonomes Fahrzeug unter realen Einsatzbedingungen erfolgreich angegriffen wurde.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Einordnung enthielt keine Fragen, daher ist die Einordnung leer. Bewertet wurde die mittlere Zusammenfassung. Die kurze Fassung ist ebenfalls unvollständig, da sie die gedruckte Katze und das Ensemble-Verfahren nicht nennt. Ihre Aussage zum autonomen Fahrzeug ist vorsichtiger formuliert, weil sie nur sagt, ein realer Angriff werde nicht belegt.

Im Bericht, aber nicht in der Zusammenfassung

  • Ein gedrucktes Katzenbild auf einem handelsüblichen Farbdrucker täuscht den Klassifikator unabhängig von Zoom und Drehung. Das ist die zentrale Demonstration des Berichts zur physischen Welt.
  • Der Bezug zur Vorwochen-Aussage, selbstfahrende Autos seien schwer zu täuschen, wird nur indirekt umschrieben.

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Aussage, die beschriebenen Ergebnisse zeigten keinen erfolgreichen Angriff auf ein autonomes Fahrzeug im realen Einsatz, steht so nicht im Bericht. Der Bericht widerspricht nur der Behauptung zur Robustheit gegenüber Blickwinkeln und trifft keine Aussage zum realen Einsatz.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
Agenten und vernetzte Systeme
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →