Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai22. August 2019 · Q008666

Testing robustness against unforeseen adversaries

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht schlägt mit UAR eine Kennzahl und ein dreiteiliges Verfahren vor, um Bildklassifikatoren gegen unbekannte adversariale Verzerrungen zu bewerten. Die Autoren berichten, dass Schutz gegen bekannte Angriffe nicht zuverlässig übertragbar ist und empfehlen daher Tests mit vielfältigen Angriffen und Verzerrungsstärken; die Aussagen beziehen sich auf die beschriebenen Untersuchungen.

Mittel

Der Bericht stellt ein Verfahren vor, um Bildklassifikatoren auf Widerstandsfähigkeit gegen Angriffe zu prüfen, die beim Training nicht bekannt waren. Die Autoren betonen, dass Schutz gegen einen bestimmten Angriff nicht zuverlässig auf andere Angriffstypen übergeht und zusätzliche Härtung die Robustheit gegen unbekannte Verzerrungen mitunter sogar senken kann.

Das Verfahren empfiehlt drei Schritte: Tests mit vielfältigen Verzerrungen wie L1, L2-JPEG, elastischen Verformungen und Nebel; die Prüfung eines breiten, an menschlicher Erkennbarkeit und starken Abwehrmodellen kalibrierten Bereichs von Verzerrungsstärken; sowie den Vergleich mit Modellen, die durch adversariales Training den jeweiligen Angriff bereits kennen. Dafür führen die Autoren UAR ein, eine Kennzahl für Robustheit gegen unerwartete Angriffe. Ein Wert nahe 100 soll eine Leistung vergleichbar mit einer gezielt vorbereiteten Abwehr anzeigen.

Die berichteten Ergebnisse sprechen laut Autoren gegen die Annahme, dass adversariales Training allgemein auf unbekannte Angriffe übertragbar ist. Sie empfehlen deshalb vielfältigere Tests. Die Aussagen gelten für die beschriebenen Untersuchungen; der Beitrag selbst enthält nicht die vollständigen Details des Fachartikels und belegt keine universelle Robustheit.

Ausführlich lesen

Der Bericht beschreibt ein Verfahren, mit dem sich prüfen lässt, wie gut ein neuronales Bildklassifikationsmodell gegen gezielte Bildveränderungen besteht, die beim Training nicht berücksichtigt wurden. OpenAI stellt dabei eine zentrale Einschränkung bisheriger Bewertungen heraus: Ein Modell kann gegen einen bekannten Angriffstyp gehärtet werden und trotzdem gegenüber anderen, zuvor nicht berücksichtigten Angriffen anfällig bleiben. Robustheit gegen einen Angriff überträgt sich dem Bericht zufolge nicht zuverlässig auf andere. In manchen Fällen kann stärkeres Härten gegen einen bekannten Angriff die Widerstandsfähigkeit gegen einen anderen sogar verschlechtern.

Adversariale Beispiele sind laut Bericht gezielt veränderte Eingaben, die ein Modell zu einer falschen Klassifikation bringen sollen, obwohl ein Mensch das Motiv weiterhin erkennen kann. Gezeigt werden unterschiedliche Arten solcher Veränderungen, darunter pixelbasierte Verzerrungen, JPEG-Veränderungen, elastische Verformungen, Nebel, Texturrauschen und künstlich erzeugter Schnee. Die Beispiele veranschaulichen, dass Angriffe sehr verschiedene Formen annehmen können.

Das vorgeschlagene Prüfverfahren hat drei Teile. Erstens sollen Modelle gegen vielfältige, bislang nicht verwendete Verzerrungsarten getestet werden. Die Autoren argumentieren, dass Prüfungen nur mit den verbreiteten L∞- oder L2-Angriffen nicht ausreichen, um die Robustheit gegen andere Verzerrungen vorherzusagen. Als mögliche zusätzliche Angriffstypen nennen sie L1, L2-JPEG, Elastic und Fog. Zweitens soll ein breiter Bereich von Verzerrungsstärken untersucht werden. Ein zu enger Bereich könne laut Bericht die Schlussfolgerungen über Robustheit umkehren. Die Stärke soll so kalibriert werden, dass die veränderten Bilder für Menschen noch erkennbar bleiben; die Autoren empfehlen außerdem, dafür auch starke adversarial trainierte Modelle heranzuziehen, da anspruchsvollere Abwehrmodelle stärkere sichtbare Verzerrungen erfordern können.

Drittens führt der Bericht UAR („Unforeseen Attack Robustness“) ein. Diese Kennzahl vergleicht die Leistung eines Modells gegen einen unerwarteten Angriff mit der einer Abwehr, die den Angriffstyp bereits kennt und durch adversariales Training gezielt darauf vorbereitet wurde. Ein UAR-Wert nahe 100 soll demnach eine Leistung nahe an dieser wissenden Abwehr anzeigen und gilt als anspruchsvolles Ziel.

Die berichteten Ergebnisse adversarial trainierter Modelle zeigen nach Darstellung der Autoren, dass die durch Training gewonnene Robustheit nicht breit auf unbekannte Verzerrungen übergeht und gegen solche Angriffe teils sogar sinken kann. Daraus leiten sie die Empfehlung ab, Modelle mit einer deutlich vielfältigeren Angriffsauswahl zu bewerten. Als Hilfsmittel nennen sie ein Codepaket mit Angriffen, Modellen und Kalibrierungen. Die Aussagen beziehen sich auf die im Bericht beschriebenen Tests und Angriffstypen; der Beitrag enthält selbst keine vollständigen Details des erwähnten Fachartikels und begründet daher keine allgemeine Garantie für die Robustheit beliebiger Modelle oder Angriffe.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich nur auf den Berichtstext; die Stufen wurden unabhängig von Lunas Angaben vergeben. Der Bericht behandelt Robustheit von Bildklassifikatoren, nicht Laboraufsicht oder staatliche Stellen.

Im Bericht, aber nicht in der Zusammenfassung

  • Warnung, dass die Prüfung nur einer Verzerrungsart ein falsches Sicherheitsgefühl erzeugen kann, etwa gegenüber Brillen- und Aufkleber-Angriffen
  • Die Umkehr qualitativer Schlussfolgerungen bei zu enger Spanne der Verzerrungsstärken wird nur angedeutet, nicht ausdrücklich benannt

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 27 %Hintergrund, keine Belege
    • JEV 32 %beantwortet teilweise oder widerspricht
    • amos 100 %kein Bezug
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 4 · 37 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 40 %Hintergrund, keine Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F4-T03 Welche neue Prüfung braucht jeder Einsatz, wenn Fähigkeiten zunehmend im Nachdenken des Modells während der Nutzung stecken statt in einem einmal trainierten Modell, und würden die für ein festes Modell gebauten Freigabetests das noch erfassen? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
    • SF-F4-T04 Wie wird ein Modell als sicher bescheinigt, bevor es von einem harmlosen Bereich wie Chat in einen folgenreichen Einsatzbereich wie Angriff, Führung und Kontrolle oder Cyber wechselt, in dem seine Entwickler es nie eingesetzt haben, und welches gemeinsame Verfahren erkennt gefährliches, neu auftretendes Verhalten vor dem Wechsel? Luna: Stufe 3 · 24 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 52 %einzelne zitierbare Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 57 %Hintergrund, keine Belege
    • JEV 35 %gleiches Oberthema, hilft nicht
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 35 %beantwortet teilweise oder widerspricht
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 47 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 41 %beantwortet teilweise oder widerspricht
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Agenten und vernetzte Systeme
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 62 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →