Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai9. Oktober 2025 · Q008664

Defining and evaluating political bias in LLMs

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI beschreibt einen Test mit rund 500 politisch unterschiedlich gefärbten Fragen und fünf Kriterien, um Verzerrungen in ChatGPT-Antworten zu erfassen. Das Unternehmen berichtet von besseren Werten bei GPT‑5, weiterhin auftretender moderater Verzerrung bei emotional zugespitzten Fragen und einer geschätzten Rate von unter 0,01 Prozent in einer Stichprobe realer Antworten; die Diagramme selbst sind im Text nicht enthalten.

Mittel

OpenAI stellt eine Methode vor, mit der politische Verzerrungen in ChatGPT anhand realistischer Gespräche bewertet werden sollen. Der Test umfasst rund 500 Fragen zu 100 Themen, mit unterschiedlichen politischen Ausrichtungen und teils emotional zugespitzten Formulierungen. Bewertet werden fünf Muster: Abwertung der Nutzerperspektive, Verstärkung ihrer Haltung, persönliche politische Äußerungen des Modells, einseitige Darstellung und unbegründete Verweigerung. Die Untersuchung betrifft Textantworten; Websuche ist ausgenommen.

Nach den von OpenAI berichteten Ergebnissen bleiben die Modelle bei neutralen oder leicht zugespitzten Fragen weitgehend objektiv. Bei emotional aufgeladenen Prompts tritt moderate Verzerrung auf, besonders bei stark zugespitzten liberalen Fragen. Häufigste Formen seien persönliche Meinungsäußerungen, asymmetrische Darstellung und sprachliche Eskalation. GPT‑5 Instant und GPT‑5 Thinking hätten die Verzerrungswerte gegenüber GPT‑4o und o3 um rund 30 Prozent gesenkt. Für eine separate Stichprobe realer Nutzung schätzt OpenAI, dass weniger als 0,01 Prozent aller Antworten Verzerrungsanzeichen zeigen. Das sind unternehmenseigene Evaluationsergebnisse; die Diagramme werden im vorliegenden Text nur referenziert, ihre Daten sind nicht enthalten.

Ausführlich lesen

Der Bericht beschreibt OpenAIs Ansatz, politische Verzerrungen in ChatGPT zu definieren, zu messen und schrittweise zu verringern. Das Unternehmen erklärt, ChatGPT solle standardmäßig objektiv antworten und Nutzerinnen und Nutzern die Kontrolle überlassen. Es stellt die Ergebnisse als Fortschritt auf dem Weg zu diesem Ziel dar.

Für die Messung entwickelte OpenAI einen Test mit rund 500 Fragen zu 100 politischen, gesellschaftlichen und kulturellen Themen. Zu jedem Thema gibt es Fragen mit liberaler, neutraler und konservativer Ausrichtung, darunter sachlich und emotional zugespitzte Varianten. Der Ansatz soll realistische offene Gespräche abbilden und zugleich besonders herausfordernde Formulierungen prüfen. Die Untersuchung konzentriert sich auf textbasierte Antworten; Verhalten im Zusammenhang mit der Websuche ist ausdrücklich ausgeklammert. Zunächst wurde US-amerikanisches Englisch untersucht. OpenAI berichtet, frühe Ergebnisse deuteten darauf hin, dass die zentralen Verzerrungsmuster auch in anderen Regionen auftreten.

Das Bewertungsraster umfasst fünf Formen politischer Verzerrung: die politische Abwertung der Nutzerperspektive, das Verstärken ihrer zugespitzten Haltung, eigene politische Meinungsäußerungen des Modells, einseitige Darstellung bei mehreren legitimen Perspektiven sowie unbegründete Verweigerungen politischer Antworten. Ein Sprachmodell bewertet Antworten anhand dieser Kriterien. OpenAI beschreibt die Entwicklung der Bewertungsanweisungen als iterativ und sagt, Referenzantworten seien zur Überprüfung der Bewertung herangezogen worden. Die Skala reicht von 0 bis 1; niedrigere Werte gelten als besser. Selbst Referenzantworten erreichen der Darstellung zufolge nicht immer den Idealwert null.

Laut OpenAI zeigen die Modelle bei neutralen oder leicht parteiisch formulierten Fragen wenig Verzerrung. Bei emotional aufgeladenen, schwierigen Fragen trete sie häufiger und in mittlerem Ausmaß auf. Besonders zugespitzte liberale Fragen zögen die Modelle stärker von der angestrebten Objektivität weg als zugespitzte konservative Fragen. Wenn Verzerrungen vorkämen, äußerten sie sich vor allem durch scheinbar persönliche politische Meinungen, ungleiche Berücksichtigung verschiedener Perspektiven und eine sprachliche Eskalation der Nutzerhaltung. Politische Verweigerungen und eine Abwertung der Nutzerperspektive seien seltener.

OpenAI zufolge erzielten GPT‑5 Instant und GPT‑5 Thinking gegenüber GPT‑4o und o3 etwa 30 Prozent niedrigere Verzerrungswerte und hielten emotional zugespitzten Fragen besser stand. Für eine gesonderte, als repräsentativ bezeichnete Stichprobe tatsächlicher Nutzung schätzt das Unternehmen, dass weniger als 0,01 Prozent aller ChatGPT-Antworten Anzeichen politischer Verzerrung zeigen. Diese Zahl ist eine Schätzung aus der Produktionsstichprobe und kein Ergebnis des eigens zusammengestellten Testdatensatzes. Der Bericht stellt die Befunde als unternehmensinterne Evaluation dar; die zugrunde liegenden Prompts und fünf Bewertungsdimensionen werden beschrieben, doch die im Text aufgeführten Abbildungen liegen hier nur als Bildverweise vor und ihre Diagrammdaten sind nicht enthalten. OpenAI kündigt weitere Verbesserungen an, insbesondere für emotional aufgeladene Fragen, und möchte die Methode zur öffentlichen Diskussion und für vergleichbare Evaluationen bereitstellen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Bewertung bezieht sich auf beide Zusammenfassungen von Luna; deren Fehler sind Auslassungen, keine Erfindungen. Die Einordnung stützt sich nur auf den Bericht, der politische Verzerrung in ChatGPT behandelt und die Sammelfragen zu Sicherheit, Fähigkeiten und Laborprüfungen nur am Rande berührt.

Im Bericht, aber nicht in der Zusammenfassung

  • Der LLM-Grader (GPT-5 thinking) als automatisches Bewertungsinstrument fehlt in beiden Zusammenfassungen.
  • Die Skala von 0 bis 1 und die Aussage, dass auch Referenzantworten nicht null erreichen, fehlen.
  • Die Ausgangsbasis auf US-Englisch und die nur vorläufige Aussage zur Übertragbarkeit auf andere Sprachen und Regionen fehlen.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 56 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
    • SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt? Luna: Stufe 4 · 58 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 41 %gleiches Oberthema, hilft nicht
    • JEV 26 %umfangreiche Belege
    • amos 26 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 23 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 46 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 50 %einzelne zitierbare Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 21 %Hintergrund, keine Belege
    • Luna 54 %umfangreiche Belege
    • JEV 39 %beantwortet teilweise oder widerspricht
    • amos 32 %einzelne zitierbare Belege
    • SubQ 26 %einzelne zitierbare Belege
    • drex 35 %einzelne zitierbare Belege
    • d3-ultra 46 %einzelne zitierbare Belege
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 4 · 35 % · einzelne zitierbare Belege
    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 4 · 48 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 44 %Hintergrund, keine Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 4 · 45 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 39 %einzelne zitierbare Belege
    • JEV 33 %beantwortet teilweise oder widerspricht
    • amos 28 %einzelne zitierbare Belege
    • SubQ 23 %gleiches Oberthema, hilft nicht
    • drex 22 %einzelne zitierbare Belege
    • d3-ultra 24 %einzelne zitierbare Belege

    • SF-V1-T01 Welche beobachtbaren Belege zeigen die Ziele und Werte eines Modells und ob es noch ausgerichtet ist, wenn seine sichtbaren Gedankengänge kein verlässlicher Hinweis mehr darauf sind oder ihre Überwachung nachlässt? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 4 · 32 % · einzelne zitierbare Belege
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 4 · 37 % · einzelne zitierbare Belege
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
    • SF-V1-T11 Wie unterscheidet man bei sich selbst ehrliches von interessegeleitetem Denken, welche Belege für diesen Unterschied würde man von einem Modell akzeptieren, und welcher Test trennt tatsächlich vertretene von nur vorgeführten Werten? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege
    • SF-V1-T13 Wenn sich vorgeführte und tatsächlich vertretene Tugend im Text nicht unterscheiden lassen: Soll der Unterschied trotzdem bestimmen, wie man Modelle baut und regelt? Luna: Stufe 4 · 34 % · einzelne zitierbare Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 18 %Hintergrund, keine Belege
    • Luna 57 %einzelne zitierbare Belege
    • JEV 42 %umfangreiche Belege
    • amos 31 %einzelne zitierbare Belege
    • SubQ 23 %gleiches Oberthema, hilft nicht
    • drex 22 %einzelne zitierbare Belege
    • d3-ultra 39 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege
    • SF-V3-T02 Wie macht man die Ausrichtung eines Modells an Werten zu prüfbaren Verhaltensregeln statt zu angestrebten menschlichen Eigenschaften wie der „Liebe zur Menschheit“? Luna: Stufe 4 · 35 % · einzelne zitierbare Belege
    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 36 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 44 %einzelne zitierbare Belege
    • JEV 40 %umfangreiche Belege
    • amos 31 %einzelne zitierbare Belege
    • SubQ 33 %gleiches Oberthema, hilft nicht
    • drex 26 %einzelne zitierbare Belege
    • d3-ultra 26 %Hintergrund, keine Belege

Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 29 %gleiches Oberthema, hilft nicht
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 50 %einzelne zitierbare Belege
    • JEV 38 %umfangreiche Belege
    • amos 24 %nur am Rande erwähnt
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 46 %gleiches Oberthema, hilft nicht

Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 44 %gleiches Oberthema, hilft nicht
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

    • SF-E1-T09 Bekommen zivile Forschende an Hochschulen und unabhängige Organisationen der Zivilgesellschaft geregelten Zugang zu Modellen, Daten und Befunden der Prüfer, oder bleibt die Prüfung bei staatlich bestellten Stellen? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 60 %gleiches Oberthema, hilft nicht
    • JEV 43 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 64 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  5. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 30 %nur am Rande erwähnt
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
Wirtschaft und Haftung
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 47 %einzelne zitierbare Belege
    • JEV 27 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →