Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind26. Juni 2026 · Q001419

Bridging the Scale Gap: Augmenting Human Red-Teaming to Uncover Latent Risks in T2I Models

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Bericht ist nur ein Abstract zu Seed2Harvest, einem Verfahren, das menschlich verfasste Angriffsprompts für Text-zu-Bild-Modelle anhand aus 3.748 Prompts abgeleiteter Strategien erweitert. Laut Autorinnen und Autoren blieb die Angriffswirksamkeit vergleichbar, während die geografische und demografische Abdeckung über drei Datensätze im Durchschnitt etwa um den Faktor 20 stieg; methodische Einzelheiten fehlen im Auszug.

Mittel

Der bereitgestellte Bericht enthält nur den Abstract. Darin beschreiben die Autorinnen und Autoren eine Lücke zwischen menschlichem Red-Teaming für Text-zu-Bild-Modelle (T2I) und automatisierten Prüfungen: Menschen erkennen kulturelle und kontextabhängige Risiken, sind aber aufwendig; Automatisierung kann soziolinguistische Nuancen verfehlen. Scheinbar harmlose Prompts könnten daher problematische oder voreingenommene Bilder auslösen.

Das vorgestellte Verfahren Seed2Harvest erweitert menschlich verfasste adversariale Prompts mithilfe von Angriffsmustern, die aus einer Analyse von 3.748 solchen Prompts abgeleitet wurden. Laut Abstract wurde es mit Adversarial Nibbler, I2P und CoPro ausgewertet. Die erweiterten Datensätze hätten die Angriffswirksamkeit menschlicher Ausgangsdaten bewahrt und die geografische sowie demografische Abdeckung im Durchschnitt etwa um den Faktor 20 erhöht. Zudem berichten die Autorinnen und Autoren von ausgewogenerer Risikoerkennung ohne proportional mehr Prüfaufwand. Der Abstract liefert keine Details zu Messmethoden oder Einzelwerten; diese Ergebnisse lassen sich daher anhand des bereitgestellten Textes nicht näher prüfen.

Ausführlich lesen

Der bereitgestellte Bericht umfasst nur den Abstract und bibliografische Angaben, nicht den vollständigen Beitrag. Laut Abstract untersuchen die Autorinnen und Autoren ein Skalierungsproblem bei der Prüfung von Text-zu-Bild-Modellen (T2I): Menschliche Red-Teams können kulturell geprägte und kontextabhängige Schäden erkennen, benötigen dafür aber viel Zeit und Aufwand. Automatisierte Verfahren wiederum könnten feine soziolinguistische Nuancen übersehen. Dadurch könnten scheinbar harmlose Eingaben problematische oder voreingenommene Bilder auslösen, insbesondere zulasten unterrepräsentierter Gruppen.

Als Lösung stellen die Autorinnen und Autoren Seed2Harvest vor. Das Verfahren soll menschliche Expertise systematisch erweitern, statt sie zu ersetzen: Von Menschen verfasste adversariale Prompts dienen als Ausgangspunkte („Seeds“). Diese werden anhand von Angriffsmustern erweitert, die aus einer reflexiven thematischen Analyse von 3.748 menschlich erstellten adversarialen Prompts gewonnen wurden. Der Abstract hebt hervor, dass diese menschlich abgeleiteten Muster die Erweiterung strukturieren und Seed2Harvest damit von einer rein synthetischen Generierung ohne solche Anleitung unterscheiden.

Laut Abstract wurde das Verfahren mit drei Datensätzen ausgewertet: Adversarial Nibbler, I2P und CoPro. Die erweiterten Datensätze hätten eine mit menschlichen Ausgangsdaten vergleichbare Wirksamkeit bei der Erkennung von Angriffen bewahrt und zugleich die geografische und demografische Abdeckung im Durchschnitt ungefähr um den Faktor 20 erhöht. Außerdem berichten die Autorinnen und Autoren von einer ausgewogeneren Entdeckung verschiedener Schadenskategorien, ohne den Aufwand menschlicher Prüfender proportional zu steigern.

Da nur der Abstract vorliegt, lassen sich die konkreten Messverfahren, Definitionen, Unsicherheiten und detaillierten Ergebnisse nicht beurteilen. Der Abstract enthält keine Einzelwerte oder näheren Angaben dazu, wie die Vergleichbarkeit und die Abdeckung berechnet wurden. Als Veröffentlichung ist FAccT 2026 angegeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 38 %beantwortet teilweise oder widerspricht
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 35 %gleiches Oberthema, hilft nicht

    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
    • SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt? Luna: Stufe 5 · 42 % · umfangreiche Belege
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 37 %einzelne zitierbare Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra 46 %gleiches Oberthema, hilft nicht

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 55 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 22 %einzelne zitierbare Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 24 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht

    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 43 %einzelne zitierbare Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 25 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht

    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 43 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 64 %gleiches Oberthema, hilft nicht

Modelle teilen und schützen
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 37 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →