Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai10. August 2022 · Q007335

New and improved content moderation tooling

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI kündigt einen kostenlosen API-Endpunkt an, der Texte laut Unternehmen auf mehrere Kategorien unerwünschter Inhalte prüft und Entwicklern eigene Klassifikatoren ersparen soll. Der Bericht verweist auf ein technisches Papier und einen Evaluationsdatensatz, nennt aber keine konkreten Leistungswerte; Drittverkehr wird nicht überwacht.

Mittel

OpenAI stellt einen Moderations-Endpunkt vor, der laut Unternehmen schneller und genauer ist und GPT-basierte Klassifikatoren über einen kostenlosen API-Aufruf anbietet. Er soll Texte auf sexuelle, hasserfüllte und gewalttätige Inhalte sowie auf die Förderung von Selbstverletzung prüfen. Damit könnten Entwickler eigene Klassifikatoren und deren aufwendige Wartung vermeiden.

OpenAI erklärt, der Endpunkt sei für Geschwindigkeit, Genauigkeit und Robustheit in verschiedenen Anwendungen ausgelegt. Er solle unangemessene Ausgaben unwahrscheinlicher machen und so den Einsatz von KI etwa in der Bildung erleichtern. Als Belege und Grundlage für weitere Forschung nennt der Bericht ein technisches Papier zur Methodik und Modellleistung sowie einen Evaluationsdatensatz mit entsprechend kategorisierten Common-Crawl-Daten. Inworld dient als Beispiel eines Kunden, der das Werkzeug für KI-Figuren verwendet.

Der kostenlose Zugang bezieht sich auf Inhalte aus der OpenAI-API. Die Überwachung von Datenverkehr Dritter wird laut Beitrag nicht unterstützt. Konkrete Leistungswerte oder eine unabhängige Prüfung enthält der Bericht nicht; die Aussagen zu Genauigkeit und Robustheit stammen von OpenAI.

Ausführlich lesen

Der Bericht kündigt einen überarbeiteten Moderations-Endpunkt für Entwicklerinnen und Entwickler an, die OpenAI-API-Anwendungen vor möglichem Missbrauch schützen möchten. OpenAI beschreibt den Dienst als schneller und genauer als die vorherige Lösung. Er stellt GPT-basierte Klassifikatoren über einen API-Aufruf kostenlos bereit, damit Entwickler nicht selbst Klassifikatoren aufbauen und warten müssen. Der Bericht bezeichnet deren Entwicklung als aufwendig und verweist für Einzelheiten auf ein technisches Papier.

Laut OpenAI bewertet der Endpunkt Texte danach, ob sie sexuelle, hasserfüllte oder gewalttätige Inhalte enthalten oder Selbstverletzung fördern. Diese Kategorien ordnet der Bericht der geltenden Inhaltsrichtlinie zu. OpenAI erklärt, das System sei auf Geschwindigkeit, Genauigkeit und Robustheit in unterschiedlichen Anwendungen ausgelegt. Dadurch solle die Wahrscheinlichkeit sinken, dass Produkte bei großem Nutzerkreis unangemessene Inhalte ausgeben. Der Beitrag stellt dies als mögliche Voraussetzung dafür dar, KI auch in sensiblen Bereichen wie der Bildung mit mehr Vertrauen einzusetzen. Das sind Einschätzungen und Zielsetzungen von OpenAI; konkrete Leistungswerte nennt der Beitrag selbst nicht.

Als Grundlage für die Untersuchung verweist OpenAI auf ein technisches Papier zur Methodik und Modellleistung sowie auf einen veröffentlichten Evaluationsdatensatz. Dieser enthalte laut Bericht mit Kategorien versehene Daten aus Common Crawl und solle weitere Forschung ermöglichen. Als Anwendungsbeispiel nennt der Beitrag Inworld: Das Unternehmen nutze den Moderations-Endpunkt, um die Inhalte seiner KI-gestützten virtuellen Figuren für deren Publikum angemessen zu halten. So könne Inworld sich nach Darstellung von OpenAI stärker auf sein Kernprodukt konzentrieren.

Der kostenlose Moderationszugang gilt laut Beitrag für Inhalte, die mit der OpenAI-API erzeugt wurden. Zugleich benennt OpenAI eine klare Grenze: Die Überwachung von Datenverkehr Dritter wird derzeit nicht unterstützt. Der Beitrag verweist für den Einstieg auf die Dokumentation und für ausführlichere Angaben zu Training und Leistung auf das technische Papier. Er beschreibt die Einführung und die vorgesehenen Einsatzmöglichkeiten, berichtet aber keine unabhängige Prüfung oder konkrete Messwerte, anhand derer sich die behauptete Genauigkeit und Robustheit hier beurteilen ließen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Bewertung stützt sich nur auf den Berichtstext; die Metadaten im Kopf (etwa die Prüfungsvermerke) wurden nicht als Inhalt gewertet. Bei Lunas beiden Zusammenfassungen wurde die bessere mittlere Fassung als Maßstab für Vollständigkeit herangezogen.

Im Bericht, aber nicht in der Zusammenfassung

  • In der Kurzfassung fehlen die vier konkreten Prüfkategorien (sexuell, hasserfüllt, gewalttätig, Förderung von Selbstverletzung) und die Aussage, dass der Endpunkt schneller und genauer sein soll.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 26 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %gleiches Oberthema, hilft nicht
    • Luna 51 %einzelne zitierbare Belege
    • JEV 56 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 59 %Hintergrund, keine Belege
    • JEV 38 %gleiches Oberthema, hilft nicht
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 21 %nur am Rande erwähnt
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 47 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 43 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 25 %gleiches Oberthema, hilft nicht
    • Luna 42 %Hintergrund, keine Belege
    • JEV 37 %beantwortet teilweise oder widerspricht
    • amos 32 %einzelne zitierbare Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 23 %einzelne zitierbare Belege
    • d3-ultra offen

    • SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 22 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 27 %gleiches Oberthema, hilft nicht
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 52 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 56 %einzelne zitierbare Belege
    • JEV 37 %beantwortet teilweise oder widerspricht
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

  3. SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 52 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 70 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-O2-T05 Welche öffentlichen Zusagen eines Spitzenlabors macht die juristische Person, die bei einem Bruch verklagt würde, und welche nur das Forschungsteam, und veröffentlichen die Labore das für jede Zusage? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 44 %gleiches Oberthema, hilft nicht
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 26 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  4. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 56 %einzelne zitierbare Belege
    • JEV 59 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

  5. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 23 %einzelne zitierbare Belege
    • JEV 47 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 22 %Hintergrund, keine Belege
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 24 %einzelne zitierbare Belege
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →