Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind15. September 2021 · Q002602

Challenges in Detoxifying Language Models

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Eine Kombination aus Datenfilterung, Klassifikator und Generierungslenkung senkte die gemessene Toxizität deutlich; menschliche Bewertungen bestätigten insgesamt den Rückgang. Nach den Eingriffen wurden automatische Bewertungen aber weniger zuverlässig, und der erhöhte Modellverlust traf manche Dialekte und Gruppen stärker als andere.

Mittel

Der Bericht untersucht Maßnahmen gegen toxische Ausgaben von Sprachmodellen sowie deren Nebenwirkungen. Toxizität wird als unhöfliche, respektlose oder unangemessene Sprache verstanden, die Menschen aus einer Diskussion vertreiben könnte. Die Forschenden weisen darauf hin, dass solche Urteile subjektiv und kontextabhängig sind und nur eine von mehreren möglichen Schadensarten abdecken.

Eine Kombination aus dem Filtern toxisch bewerteter Trainingsdaten, einem Klassifikator für generierte Texte und einer Lenkung der Generierung senkte automatische Toxizitätswerte deutlich. Gegenüber einem zuvor veröffentlichten Stand berichten die Autorinnen und Autoren eine sechs- beziehungsweise siebzehnfache Verringerung bei zwei Arten von Eingaben. Menschliche Bewertungen bestätigten insgesamt eine Abnahme. Allerdings wurden automatische Werte nach den Eingriffen weniger verlässlich: Viele Texte mit hohen Klassifikatorwerten galten Menschen kaum oder nicht als toxisch. Falsch positive Fälle enthielten zudem überdurchschnittlich oft Identitätsbegriffe.

Stärkere Eingriffe erhöhten den Sprachmodellierungsverlust und beeinträchtigten die Abdeckung bestimmter Dialekte und Gruppen ungleichmäßig, darunter African-American English und Texte über weibliche Schauspielende. Die Forschenden empfehlen deshalb menschliche Bewertungen, kontextbezogene Maßstäbe und mehrere Kennzahlen statt alleiniger Abhängigkeit von automatischen Toxizitätsscores.

Ausführlich lesen

Der Bericht untersucht, wie sich toxische Sprache in Ausgaben von Sprachmodellen verringern lässt, wie zuverlässig automatische Bewertungen dafür sind und welche Nebenwirkungen solche Eingriffe haben können. Als toxisch gilt hier Sprache, die unhöflich, respektlos oder unangemessen ist und wahrscheinlich dazu führt, dass jemand eine Diskussion verlässt. Die Autorinnen und Autoren betonen, dass dieses Urteil subjektiv ist und von Bewertenden, kulturellem Hintergrund und Kontext abhängt. Außerdem erfasst Toxizität nur eine Art möglicher Schäden und lässt etwa Verteilungsbias unberücksichtigt.

Untersucht werden mehrere Maßnahmen: als toxisch eingestufte Trainingsdaten herausfiltern, generierte Texte mit einem eigens trainierten BERT-Klassifikator prüfen und die Generierung in eine weniger toxische Richtung lenken. Zusammengenommen senkten diese Verfahren die automatischen Toxizitätswerte deutlich. Bei toxischen und nicht toxischen Eingaben aus RealToxicityPrompts berichten die Forschenden eine sechs- beziehungsweise siebzehnfache Verringerung gegenüber dem zuvor veröffentlichten Stand. Bei unaufgeforderter Textgenerierung erreichten sie für die verwendete Kennzahl null. Die Forschenden werteten dies als Hinweis darauf, dass die Kennzahl möglicherweise ausgeschöpft sei, und untersuchten deshalb zusätzlich von Menschen bewertete Beispiele.

Die menschliche Bewertung zeigte laut Bericht einen direkten, weitgehend gleichmäßigen Zusammenhang zwischen durchschnittlichen menschlichen Urteilen und Klassifikatorwerten: Insgesamt nahm die Toxizität nach menschlichem Urteil ebenfalls ab. Die Übereinstimmung zwischen Bewertenden war mit anderen Toxizitätsstudien vergleichbar, zugleich gab es mehrdeutige Fälle, etwa Sarkasmus, journalistische Beschreibungen von Gewalt oder Zitate toxischer Aussagen, die neutral oder ablehnend gemeint waren. Nach den Entgiftungsmaßnahmen wurden automatische Bewertungen weniger verlässlich: Unter Texten mit hohen automatischen Werten stuften Menschen viele als kaum oder gar nicht toxisch ein. Eine manuelle Prüfung ergab zudem, dass falsch positive Fälle überdurchschnittlich oft Identitätsbegriffe enthielten. Für ein entgiftetes Modell erwähnen 30,2 Prozent der Texte in der Gruppe mit hohen automatischen Toxizitätswerten das Wort „gay“.

Als mögliche Nebenwirkung berichten die Forschenden einen Anstieg des Sprachmodellierungsverlusts, der mit stärkerem Eingriff zunahm. Der Anstieg war bei Texten mit hohen automatischen Toxizitätswerten größer. In menschlichen Bewertungen fanden sie dagegen keine auffälligen Unterschiede bei Grammatik, Verständnis oder der Bewahrung des durch vorangehenden Text vorgegebenen Stils. Zugleich verschlechterte sich die Abdeckung bestimmter Themen, Gruppen und Dialekte ungleichmäßig: Der Verlust stieg für African-American English stärker als für White-Aligned English, für Texte über weibliche stärker als für solche über männliche Schauspielende und für Texte über Hispanic Americans stärker als für einige andere untersuchte ethnische Gruppen.

Der Bericht folgert, dass die Verfahren toxische Ausgaben wirksam verringern können, automatische Kennzahlen nach solchen Eingriffen aber irreführend werden können. Er empfiehlt anspruchsvollere Bewertungsmaßstäbe, menschliche Urteile und eine kontextabhängige Weiterentwicklung des Toxizitätsbegriffs. Zugleich sollten mehrere Kennzahlen mögliche Schäden gemeinsam erfassen, weil Entgiftung die Leistung und Abdeckung für marginalisierte Gruppen beeinträchtigen kann. Die dargestellten Befunde gelten für die beschriebenen Modelle, Daten und Bewertungsverfahren; der Bericht weist selbst auf subjektive Urteile und Grenzen automatischer Klassifikatoren hin.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die kurze Zusammenfassung ist knapp und korrekt, lässt aber zentrale Befunde aus. Die mittlere Fassung ist treu und erfindet nichts, übergeht jedoch die Erschöpfung der Metrik und die fehlenden Unterschiede bei Lesbarkeit.

Im Bericht, aber nicht in der Zusammenfassung

  • Im Bericht erreicht die Toxizität ohne Vorgabe (unprompted) den Wert null, was auf eine Erschöpfung der Metrik hindeutet
  • Menschliche Bewertende fanden keine nennenswerten Unterschiede bei Grammatik, Verständlichkeit und Erhalt des Stils
  • Die Falsch-Positiv-Befunde zum Identitätsbegriff 'gay' mit 30,2 % fehlen in der kurzen Fassung

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt? Luna: Stufe 4 · 44 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 5 · umfangreiche Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 35 %gleiches Oberthema, hilft nicht
    • JEV 21 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 54 %einzelne zitierbare Belege
    • JEV 38 %beantwortet teilweise oder widerspricht
    • amos 27 %Hintergrund, keine Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 52 %einzelne zitierbare Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 25 %umfangreiche Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 26 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht

    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-V1-T09 Wenn Labore bessere Überwacher bauen, Modelle lernen, ihnen auszuweichen, und sich dieses Wechselspiel in jedem Labor beschleunigt: Behandeln Regierungen diesen Wettlauf selbst als Sicherheitsfrage zwischen Staaten, und welche gemeinsamen Belege würden zeigen, dass er beherrscht ist? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 0 · kein Bezug
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 23 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 60 %gleiches Oberthema, hilft nicht
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 45 %einzelne zitierbare Belege
    • JEV 54 %umfangreiche Belege
    • amos 25 %einzelne zitierbare Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 24 %Hintergrund, keine Belege
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 45 %Hintergrund, keine Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 42 %nur am Rande erwähnt
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht

Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 40 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 62 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %Hintergrund, keine Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 34 %Hintergrund, keine Belege
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 74 %Hintergrund, keine Belege
    • JEV 34 %gleiches Oberthema, hilft nicht
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →