Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
cset17. März 2021 · Q003428

Key Concepts in AI Safety: Robustness and Adversarial Examples

cset.georgetown.edu · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Text ist nur ein Auszug: Er erklärt in der Einleitung, dass maschinelle Lernsysteme in sicherheitskritischen Anwendungen zuverlässig mit unterschiedlichen Eingaben umgehen müssen, und beschreibt Training sowie die begrenzte Verallgemeinerungsfähigkeit von Modellen. Die angekündigten Erläuterungen zu adversarialen Beispielen und zum Sicherheitsansatz fehlen im Auszug.

Mittel

Der bereitgestellte Text ist nur ein Auszug aus dem Bericht „Key Concepts in AI Safety: Robustness and Adversarial Examples“ von Tim G. J. Rudner und Helen Toner. Er enthält die Einleitung, aber keine nähere Erklärung adversarialer Beispiele oder des angekündigten Sicherheitsansatzes.

Die Autoren führen aus, dass die wachsende Nutzung maschinellen Lernens in sicherheitskritischen Bereichen die möglichen Folgen von Systemfehlern verschärft. Systeme sollten deshalb unter vielen Bedingungen zuverlässig arbeiten. Der Auszug erklärt Training als Anpassung eines statistischen Modells durch einen Algorithmus anhand zusätzlicher Daten. Nach dem Training können Modelle Vorhersagen treffen, Handlungen ausführen oder synthetische Daten erzeugen.

Modelle müssen laut Einleitung auch mit Eingaben außerhalb ihrer Trainingsdaten umgehen können. Tiefe neuronale Netze könnten etwa von Schwarz-Weiß- auf ähnliche Farbbilder verallgemeinern. Diese Fähigkeit hat Grenzen: Bei bedeutsam abweichenden Eingaben können selbst fortgeschrittene Systeme scheitern. Ein nur mit Katzen und Hunden trainierter Klassifikator könne beispielsweise einen Fisch nicht erkennen. Zudem lasse sich nicht immer intuitiv vorhersehen, welche Unterschiede für ein Modell bedeutsam sind. Der Auszug endet vor der angekündigten vertieften Behandlung des Themas.

Ausführlich lesen

Der bereitgestellte Text ist nur ein Auszug aus dem Bericht „Key Concepts in AI Safety: Robustness and Adversarial Examples“ von Tim G. J. Rudner und Helen Toner. Er enthält Metadaten, einen Hinweis auf weitere Beiträge der Reihe, die Einleitung und einen Abbildungsplatzhalter. Die angekündigte ausführliche Behandlung von Robustheit und adversarialen Beispielen ist in diesem Auszug nicht enthalten.

Die Einleitung stellt die zunehmende Nutzung maschinellen Lernens in sicherheits- und zuverlässigkeitskritischen Bereichen in den Mittelpunkt. Die Autoren argumentieren, dass dadurch das Risiko schwerwiegender Schäden infolge von Systemausfällen steigt und maschinelle Lernsysteme deshalb unter vielfältigen Bedingungen zuverlässiger funktionieren müssen. Der Bericht soll adversariale Beispiele als besonders herausfordernde Eingaben vorstellen und einen Ansatz der KI-Sicherheit zur Vermeidung dadurch ausgelöster Fehler beschreiben; wie dieser Ansatz konkret aussieht, geht aus dem vorliegenden Text allerdings nicht hervor.

Zur Einordnung erläutert der Auszug maschinelles Lernen als Zusammenspiel eines statistischen Modells für Beziehungen zwischen Eingaben und Ausgaben sowie eines Lernalgorithmus. Dieser Algorithmus passt das Modell anhand zusätzlicher Daten an; diesen Vorgang bezeichnet der Text als Training. Nach dem Training können Modelle beispielsweise Vorhersagen treffen, Handlungen ausführen oder synthetische Daten erzeugen.

Als wichtige Eigenschaft gilt laut Einleitung, dass ein Modell nicht nur mit Trainingsdaten zurechtkommt, sondern auch mit weiteren Eingaben. Als Beispiel dienen Bildklassifikatoren, die mit ImageNet trainiert wurden und auch bei realen Bildern außerhalb des Datensatzes brauchbar sein müssen. Tiefe neuronale Netze könnten nach Darstellung der Autoren auf ähnliche, aber veränderte Beispiele verallgemeinern: Ein Modell für Schwarz-Weiß-Bilder von Katzen und Hunden werde wahrscheinlich auch vergleichbare Farbbilder erkennen.

Die Einleitung schränkt diese Fähigkeit ein: Auch fortgeschrittene Systeme scheiterten bei Eingaben, die sich in bedeutsamer Weise von den Trainingsbeispielen unterscheiden. Ein nur mit Katzen- und Hundebildern trainierter Klassifikator könne etwa einen Fisch nicht als solchen einordnen. Außerdem seien für Menschen nicht immer intuitiv vorhersehbar, welche Eingaben für ein Modell als bedeutsam anders erscheinen. Ergebnisse oder empirische Untersuchungen enthält der Auszug nicht; er bricht nach der Einleitung und einem Abbildungsplatzhalter ab.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 44 %Hintergrund, keine Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 65 %gleiches Oberthema, hilft nicht
    • drex 68 %gleiches Oberthema, hilft nicht
    • d3-ultra 73 %gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 59 %Hintergrund, keine Belege
    • JEV 45 %gleiches Oberthema, hilft nicht
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 65 %gleiches Oberthema, hilft nicht
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra 66 %gleiches Oberthema, hilft nicht
  3. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  4. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 59 %Hintergrund, keine Belege
    • JEV 40 %gleiches Oberthema, hilft nicht
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 71 %gleiches Oberthema, hilft nicht
    • d3-ultra 71 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 74 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra 76 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 72 %Hintergrund, keine Belege
    • JEV 46 %gleiches Oberthema, hilft nicht
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 68 %gleiches Oberthema, hilft nicht
    • d3-ultra 71 %gleiches Oberthema, hilft nicht
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 58 %gleiches Oberthema, hilft nicht
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 77 %gleiches Oberthema, hilft nicht
    • d3-ultra 74 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra 77 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 24 %Hintergrund, keine Belege
    • Luna 80 %Hintergrund, keine Belege
    • JEV 40 %Hintergrund, keine Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 50 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 22 %Hintergrund, keine Belege
    • Luna 70 %Hintergrund, keine Belege
    • JEV 43 %Hintergrund, keine Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 63 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 69 %gleiches Oberthema, hilft nicht
    • d3-ultra 76 %gleiches Oberthema, hilft nicht
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 75 %gleiches Oberthema, hilft nicht
    • d3-ultra 80 %gleiches Oberthema, hilft nicht
  3. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 58 %gleiches Oberthema, hilft nicht
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 71 %gleiches Oberthema, hilft nicht
    • drex 75 %gleiches Oberthema, hilft nicht
    • d3-ultra 79 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 70 %gleiches Oberthema, hilft nicht
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 65 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →