Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai15. August 2023 · Q008903

Using GPT-4 for content moderation

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI beschreibt ein Verfahren, bei dem GPT‑4 Richtlinien anhand menschlich gelabelter Beispiele anwendet und Abweichungen zur schrittweisen Klärung der Regeln genutzt werden. Das könne Moderationsrichtlinien schneller aktualisieren und Menschen entlasten; laut Bericht erreicht GPT‑4 etwa das Niveau leicht geschulter Moderatoren, bleibt aber hinter erfahrenen Fachkräften zurück und muss wegen möglicher Verzerrungen menschlich überwacht werden.

Mittel

Der Bericht stellt GPT‑4 als Unterstützung für die Entwicklung und Anwendung plattformspezifischer Inhaltsrichtlinien vor. OpenAI zufolge kann der Prozess, der sonst Monate dauern könne, auf Stunden verkürzt werden: Fachleute erstellen eine Richtlinie und labeln eine kleine Beispielsammlung; GPT‑4 bewertet dieselben Fälle unabhängig. Abweichungen werden geprüft, um Unklarheiten in den Regeln aufzudecken und die Richtlinie iterativ zu präzisieren. Daraus können Klassifikatoren für die Moderation in größerem Umfang entstehen; für große Datenmengen nennt der Bericht auch die Möglichkeit, ein kleineres Modell mit GPT‑4‑Vorhersagen feinzujustieren.

Als mögliche Vorteile nennt OpenAI konsistentere Labels, schnellere Anpassungen an neue Risiken und eine geringere psychische Belastung menschlicher Moderatoren. Bei der Qualität zieht der Text eine klare Grenze: GPT‑4 sei mit leicht geschulten Moderatoren vergleichbar, während erfahrene, gut geschulte Menschen beide überträfen. Zahlen zur Bewertung werden nicht genannt. Der Bericht warnt außerdem vor möglichen Verzerrungen in Modellurteilen und betont, dass menschliche Überwachung, Validierung und Verfeinerung nötig bleiben. Verbesserungen und die Erkennung unbekannter Risiken beschreibt er als laufende Arbeit.

Ausführlich lesen

Der Bericht beschreibt, wie OpenAI GPT‑4 für die Entwicklung und Anwendung von Inhaltsrichtlinien zur Moderation einsetzen will. OpenAI zufolge könnte das Verfahren Richtlinienänderungen schneller umsetzen, konsistentere Bewertungen ermöglichen und die psychische Belastung menschlicher Moderatorinnen und Moderatoren verringern. Als Ausgangspunkt nennt der Text die aufwendige, kontextabhängige Moderation großer Inhaltsmengen, die traditionell vor allem Menschen übernehmen und die laut Bericht zeitintensiv und belastend sein kann.

Das vorgeschlagene Vorgehen beginnt mit einer schriftlichen Richtlinie und einer kleinen, von Fachleuten gelabelten Beispielsammlung. GPT‑4 bewertet dieselben Beispiele, ohne die menschlichen Labels zu sehen. Anschließend untersuchen die Fachleute Abweichungen, lassen GPT‑4 seine Bewertungen erläutern und nutzen die Unterschiede, um unklare Richtlinien zu präzisieren. Diese Schritte können wiederholt werden. Aus der überarbeiteten Richtlinie werden laut Bericht Klassifikatoren für den Einsatz in größerem Umfang erstellt. Bei sehr großen Datenmengen könnten GPT‑4‑Vorhersagen außerdem dazu dienen, ein kleineres Modell feinzujustieren. Ein Beispiel im Bericht zeigt eine Richtlinie zu unerlaubtem Verhalten und den zu bewertenden Text „How to steal a car?“.

OpenAI führt als erwartete Vorteile an, dass ein Modell detaillierte Richtlinien und Änderungen schnell berücksichtigen könne und so der Entwicklungszyklus von Monaten auf Stunden schrumpfen könne. Außerdem solle die Automatisierung Menschen von Teilen der Arbeit entlasten, die sie als belastend beschreibt. Der Text grenzt den Ansatz von Constitutional AI ab: Hier stütze sich die Bewertung auf plattformspezifische Regeln, deren Überarbeitung beschleunigt werden soll.

Die berichteten Qualitätsangaben sind eingeschränkt: GPT‑4s Labeling-Qualität sei mit der von leicht geschulten menschlichen Moderatoren vergleichbar; erfahrene, gut geschulte Moderatoren schnitten laut Bericht besser ab als beide Gruppen. Der Text nennt keine konkreten Zahlen oder näheren Angaben zum Umfang dieser Qualitätsbewertung. Zudem räumt OpenAI ein, dass Sprachmodelle unerwünschte, aus dem Training stammende Verzerrungen aufweisen können. Ergebnisse müssten daher sorgfältig überwacht, überprüft und verfeinert werden, wobei Menschen eingebunden bleiben. Weitere Verbesserungen, etwa durch Chain-of-Thought oder Selbstkritik, sowie Verfahren zur Erkennung bislang unbekannter Risiken bezeichnet der Bericht als laufende Erkundung beziehungsweise Experimente, nicht als abgeschlossene Ergebnisse.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: ok

Bewertet wurden alle drei Zusammenfassungen gemeinsam, da das Schema nur ein Urteil vorsieht. Lunas Stufen und Anteilswerte für die Einordnung wurden nicht übernommen, die Einstufung erfolgt unabhängig davon.

Im Bericht, aber nicht in der Zusammenfassung

  • Abgrenzung zu Constitutional AI (in kurz und mittel nicht genannt)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 100 %kein Bezug
    • Luna 22 %Hintergrund, keine Belege
    • JEV 39 %gleiches Oberthema, hilft nicht
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %Hintergrund, keine Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 48 %einzelne zitierbare Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-P3-T04 Wer prüft die KI-Modelle, die andere Modelle prüfen, auf Anweisungen, Versionen und Fehlerfälle, und welche unabhängige Prüfung zeigt, dass das geprüfte Modell sie nicht manipulieren kann, besonders wenn sie aus derselben Modellfamilie stammen? Und wenn gemeinsame Tests, Schweregrade und die Ersteinstufung von Meldungen von Sprachmodellen entworfen, durchgeführt und zusammengefasst werden: Nimmt jeder Staat einen Prüfmechanismus an, dessen Kernbausteine aus ausländischen Laboren stammen? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 4 · 30 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 70 %Hintergrund, keine Belege
    • JEV 41 %Hintergrund, keine Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 72 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 49 %einzelne zitierbare Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 37 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 55 %Hintergrund, keine Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 32 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V3-T02 Wie macht man die Ausrichtung eines Modells an Werten zu prüfbaren Verhaltensregeln statt zu angestrebten menschlichen Eigenschaften wie der „Liebe zur Menschheit“? Luna: Stufe 4 · 27 % · einzelne zitierbare Belege
    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 58 %einzelne zitierbare Belege
    • JEV 35 %beantwortet teilweise oder widerspricht
    • amos 26 %Hintergrund, keine Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 26 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten? Luna: Stufe 4 · 34 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 60 %Hintergrund, keine Belege
    • JEV 45 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 34 %einzelne zitierbare Belege
    • JEV 26 %einzelne zitierbare Belege
    • amos 29 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  2. SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 40 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 63 %Hintergrund, keine Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-E4-T03 Wie können gemeinsame Sicherheitsregeln verhindern, dass hohe Kosten der Einhaltung den Markt auf wenige reiche Labore verengen, und trotzdem kleine Entwickler und Open-Source-Entwickler auf dieselbe Mindestschwelle für Sicherheit verpflichten? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 38 %einzelne zitierbare Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 4 · 36 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 6 · beantwortet teilweise oder widerspricht
Wirtschaft und Haftung
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 45 %gleiches Oberthema, hilft nicht
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →