"Just a Strange Pic": Rethinking 'Safety' in GenAI Image Safety Annotation Tasks from Diverse Annotators’ Perspectives
Zusammenfassung
Kurz
Der vorliegende Text ist nur ein Abstract: Eine Auswertung von 5.372 Kommentaren legt laut den Autorinnen und Autoren nahe, dass Annotierende die Sicherheit KI-generierter Bilder mit moralischen, sozialen und kontextabhängigen Erwägungen beurteilen, die gängige Kategorien nicht vollständig abbilden. Auch Richtlinien, Bildqualität und Abweichungen zwischen Prompt und Ausgabe beeinflussten die Urteile; empfohlen werden Bewertungsverfahren, die unterschiedliche Schadensarten und subjektive Einschätzungen berücksichtigen.
Mittel
Der bereitgestellte Text umfasst nur den Abstract, nicht den vollständigen Bericht. Darin beschreiben die Autorinnen und Autoren eine qualitative Auswertung von 5.372 offenen Kommentaren zu Sicherheitsbewertungen KI-generierter Bilder. Sie berichten, dass Annotierende ihre Urteile häufig mit moralischen, emotionalen und kontextbezogenen Überlegungen begründeten, die über festgelegte Sicherheitskategorien hinausgingen. Dabei hätten sie mögliche Schäden für andere oft stärker berücksichtigt als Risiken für sich selbst und auf Erfahrungen sowie gesellschaftliche und kulturelle Zusammenhänge verwiesen.
Laut Abstract prägten auch die Aufgabenstellung und ihre Richtlinien, welche Bilder markiert und wie Urteile begründet wurden. Bildqualität, visuelle Verzerrungen und Unterschiede zwischen Prompt und Bildausgabe hätten ebenfalls die wahrgenommenen Schadensaspekte beeinflusst. Die Forschenden meinen, übliche Bewertungsrahmen erfassten solche Überlegungen nicht ausreichend. Sie empfehlen Verfahren, die verschiedene Schadensarten trennen und subjektive, kontextabhängige Einschätzungen ermöglichen. Genauere Angaben zu Methode und Grenzen enthält der vorliegende Auszug nicht.
Ausführlich lesen
Der bereitgestellte Quelltext enthält nur den Abstract sowie Angaben zu Autorinnen und Autoren und zum Veröffentlichungsort; eine vollständige Darstellung der Studie liegt hier nicht vor. Der Abstract beschreibt die Frage, wie Menschen die Sicherheit KI-generierter Bilder beurteilen und welche Überlegungen dabei über vorgegebene Sicherheitskategorien hinausgehen.
Die Autorinnen und Autoren berichten, dass sie 5.372 offene Kommentare von Annotierenden qualitativ ausgewertet haben. Demnach begründeten die Teilnehmenden ihre Einschätzungen häufig mit moralischen, emotionalen und kontextbezogenen Erwägungen. Sie hätten mögliche Schäden für andere oft stärker thematisiert als Gefahren für sich selbst und dabei auf eigene Erfahrungen, gemeinschaftliche Risiken sowie gesellschaftliche und kulturelle Zusammenhänge Bezug genommen.
Laut Abstract beeinflusste auch die Gestaltung der Annotationsaufgabe die Urteile: Richtlinien hätten sowohl mitbestimmt, welche Bilder markiert wurden, als auch, wie die Teilnehmenden ihre moralischen Begründungen formulierten. Zudem hätten Bildqualität, visuelle Verzerrungen und Abweichungen zwischen Eingabeaufforderung und Bildausgabe zu wahrgenommenen Schadensaspekten beigetragen, die nach Darstellung der Forschenden in üblichen Bewertungsrahmen oft zu wenig berücksichtigt würden.
Die Autorinnen und Autoren folgern, dass bestehende Sicherheitsverfahren wichtige Teile der Überlegungen von Annotierenden möglicherweise nicht erfassen. Sie plädieren für Bewertungsverfahren, die moralische Reflexion anregen, verschiedene Schadensarten unterscheiden und subjektive, kontextabhängige Einschätzungen zulassen. Da nur der Abstract vorliegt, enthält der bereitgestellte Text keine näheren Angaben zu Stichprobe, konkretem Vorgehen, Einordnung der Ergebnisse oder Einschränkungen der Studie.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Der Bericht ist nur ein Abstract ohne Methodenteil; die Einordnung stützt sich deshalb allein auf diesen Abstract.
Im Bericht, aber nicht in der Zusammenfassung
- In der Kurzfassung fehlt, dass Annotierende mögliche Schäden für andere stärker bedachten als Risiken für sich selbst
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %Hintergrund, keine Belege
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 41 %gleiches Oberthema, hilft nicht
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 47 %gleiches Oberthema, hilft nicht
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 41 %gleiches Oberthema, hilft nicht
- JEV 25 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 64 %Hintergrund, keine Belege
- JEV 33 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 41 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 56 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 43 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 56 %Hintergrund, keine Belege
- JEV 28 %Hintergrund, keine Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 34 %Hintergrund, keine Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 66 %Hintergrund, keine Belege
- JEV 46 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 38 %Hintergrund, keine Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %Hintergrund, keine Belege
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %Hintergrund, keine Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 42 %einzelne zitierbare Belege
- amos 25 %Hintergrund, keine Belege
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 81 %Hintergrund, keine Belege
- JEV 34 %Hintergrund, keine Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 27 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- Alle Berichte im Archiv