Upgrading the Moderation API with our new multimodal moderation model
Zusammenfassung
Kurz
OpenAI zufolge soll das neue, auf GPT‑4o basierende Moderationsmodell Text und teilweise auch Bilder präziser prüfen; neu sind außerdem zwei textbasierte Kategorien für unerlaubte Handlungen. Das Unternehmen meldet Verbesserungen in einer internen Auswertung von 40 Sprachen, doch der Bericht nennt keine detaillierte Testmethodik und die Bildprüfung deckt derzeit nur bestimmte Kategorien ab.
Mittel
OpenAI stellt mit `omni-moderation-latest` ein auf GPT‑4o basierendes Modell für die Moderation API vor. Es soll Text und Bilder prüfen, schädliche Inhalte genauer erkennen und Wahrscheinlichkeitswerte besser kalibrieren. Die Bildprüfung umfasst derzeit Gewalt, Selbstverletzung und sexuelle Inhalte, wobei sexuelle Inhalte mit Minderjährigen ausgenommen sind. Andere Kategorien bleiben vorerst textbasiert. Neu hinzu kommen textbasierte Kategorien für unerlaubte Handlungen sowie solche mit Gewalt.
OpenAI berichtet, das Modell habe sich in einem internen Test mit 40 Sprachen gegenüber dem Vorgänger insgesamt um 42 Prozent verbessert und in 98 Prozent der getesteten Sprachen zugelegt. Für Khmer und Swati nennt das Unternehmen 70 Prozent Verbesserung; die größten relativen Zuwächse seien bei Telugu, Bengali und Marathi aufgetreten. Die API soll für alle Entwickler kostenlos sein, mit nutzungsabhängigen Ratenlimits. Der Bericht nennt Grammarly und ElevenLabs als Anwender. Er enthält keine ausführlichen Angaben zum Testaufbau oder unabhängige Prüfungen der Leistungsbehauptungen.
Ausführlich lesen
Der Bericht kündigt OpenAIs neues Moderationsmodell `omni-moderation-latest` für die Moderation API an. Das Modell basiert laut OpenAI auf GPT‑4o und verarbeitet sowohl Text als auch Bilder. Es soll schädliche Inhalte genauer erkennen als das Vorgängermodell, besonders in anderen Sprachen als Englisch. Wie frühere Versionen nutzt es GPT-basierte Klassifikatoren, um Inhalte unter anderem auf Hass, Gewalt und Selbstverletzung zu prüfen. Hinzu kommen weitere Schadenskategorien und laut Bericht besser kalibrierte Wahrscheinlichkeitswerte, die genauer ausdrücken sollen, wie wahrscheinlich eine Zuordnung zu einer Kategorie ist.
Die Bildmoderation ist derzeit auf bestimmte Kategorien beschränkt: Gewalt, grafische Gewalt, Selbstverletzung, Selbstverletzungsabsicht, Anleitungen zur Selbstverletzung und sexuelle Inhalte. Sexuelle Inhalte mit Minderjährigen sind dabei ausdrücklich nicht eingeschlossen. Für die übrigen Kategorien gilt laut Bericht zunächst nur Textunterstützung; OpenAI kündigt an, die multimodale Abdeckung künftig ausbauen zu wollen. Zwei neu hinzugekommene, ebenfalls textbasierte Kategorien betreffen unerlaubte Handlungen und unerlaubte Handlungen mit Gewalt. Als Beispiel für die erste nennt der Bericht Ratschläge zum Ladendiebstahl.
OpenAI berichtet von einem internen Vergleich mit dem Vorgängermodell anhand einer mehrsprachigen Auswertung für 40 Sprachen. Demnach verbesserte sich die Leistung insgesamt um 42 Prozent und in 98 Prozent der geprüften Sprachen. Für Khmer und Swati, die der Bericht als ressourcenarm bezeichnet, wird eine Verbesserung um 70 Prozent angegeben. Besonders große relative Zuwächse nennt OpenAI für Telugu (6,4-fach), Bengali (5,6-fach) und Marathi (4,6-fach). Außerdem soll die Leistung in zehn aufgeführten Sprachen – darunter Deutsch, Spanisch, Chinesisch und Französisch – sogar die Englischleistung des Vorgängermodells übertreffen. Der Bericht erläutert, dass ein höherer AUPRC-Wert auf eine bessere Unterscheidung sicherer von unsicheren Beispielen im schwierigen mehrsprachigen Testsatz hinweist; konkrete Werte oder nähere Angaben zum Testaufbau enthält der vorliegende Text jedoch nicht.
OpenAI beschreibt die API als kostenlos für alle Entwicklerinnen und Entwickler. Es gelten allerdings Ratenlimits, die sich nach der Nutzungsstufe richten. Als Anwendungsbeispiele nennt der Bericht Grammarly, das die API als Teil seiner Schutzmaßnahmen für KI-Kommunikationshilfe nutzt, und ElevenLabs, das sie zusammen mit eigenen Lösungen zur Prüfung von durch Audio-KI erzeugten Inhalten einsetzt. OpenAI begründet die Aktualisierung mit dem gewachsenen Umfang und der größeren Vielfalt moderierter Inhalte, besonders bei weit verbreiteten KI-Anwendungen. Die Leistungsangaben und Produktbeschreibungen sind Aussagen des Unternehmens; unabhängige Prüfergebnisse oder weitere methodische Details werden im Bericht nicht vorgelegt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Einordnung nennt nur Sammelfragen, keine Teilfragen; deshalb wurden die drei Sammelfragen in der angegebenen Reihenfolge bewertet. Die Angaben zu Stufe und Anteil in Lunas Einordnung wurden nicht übernommen.
Im Bericht, aber nicht in der Zusammenfassung
- Die Kurzfassung nennt keine Zahlen (42 % insgesamt, 98 % der Sprachen, 70 % für Khmer und Swati) und nicht, dass das Modell kostenlos ist.
- Die Kurzfassung erwähnt die kalibrierten Wahrscheinlichkeitswerte nicht, obwohl der Bericht sie als Neuerung nennt.
- Die Mittelfassung lässt die Anwender Grammarly und ElevenLabs und die Verbindung zur Moderation API seit 2022 aus, die der Bericht als Kontext nennt.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 48 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %gleiches Oberthema, hilft nicht
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 60 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 54 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 43 %umfangreiche Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 44 %einzelne zitierbare Belege
- JEV 28 %einzelne zitierbare Belege
- amos 25 %Hintergrund, keine Belege
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 23 %einzelne zitierbare Belege
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 43 %einzelne zitierbare Belege
- JEV 56 %beantwortet teilweise oder widerspricht
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit
- SF-K1 Wie stellt man sicher und weist nach, dass Entscheidungen über den Einsatz von Gewalt, vor allem über Atomwaffen, beim Menschen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 26 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 45 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 69 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 57 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %Hintergrund, keine Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 33 %gleiches Oberthema, hilft nicht
- amos 25 %nur am Rande erwähnt
- SubQ 41 %gleiches Oberthema, hilft nicht
- drex 21 %einzelne zitierbare Belege
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- Alle Berichte im Archiv