Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai28. Juni 2022 · Q007835

DALL·E 2 pre-training mitigations

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI berichtet, dass Bildfilter DALL·E 2 weniger explizite und drastische Inhalte erzeugen ließen, aber demografische Verzerrungen verstärkten; eine nachträgliche Gewichtung habe diese Verschiebungen in einer begrenzten Schlüsselwortmessung reduziert. Außerdem habe Deduplizierung die Wiedergabe von Trainingsbildern in Tests verhindert, wobei fast ein Viertel der Daten entfiel und weitere Forschung zu Verzerrungen und Memorierung nötig bleibe.

Mittel

OpenAI beschreibt drei Maßnahmen, mit denen DALL·E 2 nach eigener Darstellung sicherer trainiert werden sollte: problematische Bilder filtern, dadurch verstärkte Verzerrungen ausgleichen und die Wiedergabe von Trainingsbildern verhindern. Klassifikatoren und menschliche Bewertungen sollten gewalttätige und sexuelle Bilder erkennen. Ein Vergleich von GLIDE-Modellen zeigte laut Bericht weniger explizite oder drastische Ausgaben nach dem Filtern, zugleich aber verstärkte demografische Verzerrungen. So sank die Häufigkeit des Wortes „Frau“ in Bildunterschriften um 14 Prozent, die von „Mann“ um 6 Prozent. Eine Gewichtung der verbliebenen Bilder verringerte diese Verschiebung in der Auswertung deutlich; die Schlüsselwortmessung sei jedoch nur ein Näherungsmaß.

Für die Deduplizierung suchte OpenAI in mehreren Bildclustern nach ähnlichen Bildern. Fünf Clusteranordnungen fanden laut Tests auf einer Teilmenge 97 Prozent der Duplikatpaare; fast ein Viertel des Datensatzes wurde entfernt. Menschliche Bewertungen bevorzugten das so trainierte Modell leicht. Bei erneuten Prüfungen mit 50.000 Prompts fand das Team keine Bildwiedergabe. Als Grenzen nennt der Bericht, dass etwa fünf Prozent des Datensatzes gefiltert wurden, obwohl die meisten entfernten Bilder nicht gegen die Inhaltsrichtlinie verstießen, und dass Bias- und Memorierungsfragen weiter untersucht werden müssen.

Ausführlich lesen

Der Bericht beschreibt Maßnahmen, mit denen OpenAI nach eigener Darstellung die Risiken des Bildgenerierungsmodells DALL·E 2 durch Änderungen an den Trainingsdaten senken wollte. Das Modell wurde mit Hunderten Millionen beschrifteter Internetbilder trainiert. Der Beitrag konzentriert sich auf drei Schritte: gewalttätige und sexuelle Bilder herausfiltern, dadurch verstärkte Verzerrungen abmildern und die Wiedergabe von Trainingsbildern eindämmen.

Für das Filtern trainierte OpenAI eigene Bildklassifikatoren. Die Entwickler legten Kategorien fest, sammelten Beispiele und verbesserten die Klassifikatoren iterativ mit menschlichen Bewertungen. Dabei kamen zwei Verfahren zum Einsatz: Das Team ließ mutmaßlich positive Treffer prüfen, um harmlose Bilder seltener fälschlich auszusortieren, und suchte zusätzlich visuell ähnliche Bilder zu bekannten Fehlklassifikationen, um übersehene problematische Fälle zu finden. Die Schwellenwerte wurden laut Beitrag so gewählt, dass möglichst wenig problematisches Material im Datensatz blieb, auch wenn dadurch mehr unbedenkliche Bilder entfernt wurden. Ein Vergleich zweier GLIDE-Modelle mit gleichen Hyperparametern ergab nach Darstellung des Unternehmens, dass das auf gefilterten Daten trainierte Modell seltener explizite oder drastische Inhalte erzeugte. Zugleich beobachtete OpenAI, dass die Filter demografische Verzerrungen verstärken konnten.

Als Beispiel nennt der Bericht den Begriff „CEO“: Das ungefilterte Modell habe bereits häufiger Männer dargestellt, während das gefilterte Modell fast ausschließlich Männer erzeugt habe. Eine Auswertung von Bildunterschriften ergab, dass der Filter die Häufigkeit des Wortes „Frau“ um 14 Prozent senkte, gegenüber 6 Prozent bei „Mann“. OpenAI versuchte, solche filterbedingten Verschiebungen durch eine automatische Gewichtung der verbliebenen Bilder auszugleichen. Dafür trainierte das Team einen linearen Klassifikator auf CLIP-Merkmalen, der abschätzt, ob ein Bild eher aus dem ungefilterten Datensatz stammt, und leitete daraus ein Trainingsgewicht ab. Nach dem Fine-Tuning ähnelte das Modell bei den untersuchten Beispielen stärker dem ungefilterten Modell. In der Schlüsselwortauswertung verringerten sich die Veränderungen für „Mann“ und „Frau“ laut Bericht auf 1 beziehungsweise minus 1 Prozent. Diese Wortzählung sei jedoch nur ein Näherungsmaß; umfassendere Untersuchungen zu verbleibenden Verzerrungen liefen weiter.

Beim Thema Bildwiedergabe untersuchte OpenAI 50.000 Prompts aus dem Trainingsdatensatz und prüfte besonders ähnliche generierte Bilder von Hand. Dabei fand das Team einige Hundert tatsächliche Duplikatpaare. Es berichtet, dass die betroffenen Trainingsbilder häufig einfache Grafiken waren und viele visuell ähnliche Varianten im Datensatz hatten. Zur Deduplizierung teilte das Team die Bilder in Cluster ein und suchte in mehreren unterschiedlichen Clusteranordnungen nach Duplikaten. Auf einer Teilmenge habe eine Anordnung 85 Prozent, fünf Anordnungen zusammen 97 Prozent der Duplikatpaare gefunden. Fast ein Viertel des Datensatzes sei entfernt worden. In menschlichen Bewertungen sei das Modell mit deduplizierten Daten leicht bevorzugt worden. Bei erneuten Prüfungen mit 50.000 Prompts habe das Team keine Wiedergabe von Trainingsbildern gefunden, auch nicht bei einer zusätzlichen Suche über den gesamten Trainingsdatensatz.

Der Bericht benennt Grenzen: Die Filter entfernten ungefähr fünf Prozent des gesamten Datensatzes, obwohl die meisten dieser Bilder laut OpenAI nicht gegen die Inhaltsrichtlinie verstießen. Die Gewichtung erfasst Verzerrungen nur indirekt, und Deduplizierung erklärt nicht vollständig, wie oder warum Modelle Trainingsdaten memorieren. OpenAI stellt die Maßnahmen daher als Fortschritte mit weiterem Verbesserungs- und Forschungsbedarf dar.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassung „kurz“ ist ebenfalls im Kern treu, nennt aber die Zahlen nicht und lässt die Deduplizierungsergebnisse aus; geprüft wurde die Fassung „mittel“, die nur die Ursache der Wiedergabe und die Gewichtungsdetails auslässt.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Wiedergabe von Trainingsbildern entstand laut Bericht durch Bilder, die im Datensatz vielfach nahezu identisch vorkommen; das ist die zentrale Ursache, die der Bericht nennt.
  • Die Wiedergabequote lag laut Bericht unter 1 Prozent (wenige hundert Duplikatpaare aus 50.000 Prompts), was OpenAI dennoch auf null senken wollte.
  • Die Gewichtung nutzt einen Klassifikator (linear probe auf einem kleinen CLIP-Modell), der P(unfiltered|Bild) schätzt.
  • Nach der Gewichtung sanken die Schlüsselwortabweichungen auf 1 Prozent für „Mann“ und −1 Prozent für „Frau“.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 61 %einzelne zitierbare Belege
    • JEV 55 %umfangreiche Belege
    • amos 25 %einzelne zitierbare Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 25 %einzelne zitierbare Belege
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 38 %gleiches Oberthema, hilft nicht
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 51 %einzelne zitierbare Belege
    • JEV 31 %gleiches Oberthema, hilft nicht
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 45 %umfangreiche Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht

    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 4 · 36 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra 60 %gleiches Oberthema, hilft nicht
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 49 %einzelne zitierbare Belege
    • JEV 44 %umfangreiche Belege
    • amos 29 %einzelne zitierbare Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 24 %einzelne zitierbare Belege
    • d3-ultra 47 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 64 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 31 %Hintergrund, keine Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht

    • SF-H2-T01 Was unterscheidet das Veröffentlichen von Modellgewichten (den gelernten Parametern) oder von Agentenwerkzeugen mit offenem Quellcode vom Freisetzen einer Waffe: die Absicht des Akteurs, die Selbstständigkeit des Modells, seine Verwendung oder der Schaden, den es von sich aus anrichten kann? Und können Staaten diese Grenze gemeinsam festschreiben, bevor ein offenes Modell im Mittelpunkt eines schweren Vorfalls steht? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 19 %Hintergrund, keine Belege
    • Luna 75 %umfangreiche Belege
    • JEV 38 %umfangreiche Belege
    • amos 31 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 24 %gleiches Oberthema, hilft nicht
    • d3-ultra 44 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung umfangreiche Belege

  3. SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
    • clef 100 %kein Bezug
    • Luna 64 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 48 %einzelne zitierbare Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-O2-T05 Welche öffentlichen Zusagen eines Spitzenlabors macht die juristische Person, die bei einem Bruch verklagt würde, und welche nur das Forschungsteam, und veröffentlichen die Labore das für jede Zusage? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 30 %Hintergrund, keine Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 57 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  5. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %Hintergrund, keine Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 50 %gleiches Oberthema, hilft nicht
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →