Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai3. November 2025 · Q006560

Introducing IndQA

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI beschreibt IndQA als Benchmark mit 2.278 kulturell verankerten Fragen in zwölf indischen Sprachen, erstellt und geprüft von 261 Fachleuten. Der Bericht meldet qualitative Fortschritte bei OpenAI-Modellen, nennt hier aber keine Punktzahlen und warnt, dass die sprachübergreifenden Werte nicht direkt vergleichbar sind und die gegen OpenAI-Modelle gerichtete Fragenauswahl Vergleiche verzerren kann.

Mittel

OpenAI stellt IndQA vor, einen Benchmark für das Verständnis indischer Kultur und Alltagsfragen in indischen Sprachen. Er umfasst laut Bericht 2.278 Fragen in zwölf Sprachen und zehn Themenbereichen. 261 Fachleute aus Indien verfassten und prüften die Aufgaben. Jede enthält eine Frage in der jeweiligen Sprache, eine englische Übersetzung, gewichtete Bewertungskriterien und eine Musterantwort. Ein modellbasierter Prüfer bewertet, welche Kriterien eine Antwort erfüllt.

Die Fragen wurden gezielt anspruchsvoll gestaltet und mit damaligen starken OpenAI-Modellen getestet; Aufgaben, bei denen die Mehrheit keine akzeptable Antwort gab, blieben im Benchmark. OpenAI berichtet von deutlichen Fortschritten seiner Modelle, nennt im bereitgestellten Text jedoch keine konkreten Messwerte. Der Bericht betont, dass IndQA wegen unterschiedlicher Fragen je Sprache keine direkte Sprachrangliste ermöglicht, sondern vor allem Fortschritte innerhalb einer Modellfamilie über die Zeit erfassen soll. Außerdem könne die Auswahl, die gegen OpenAI-Modelle getestet wurde, deren Vergleich mit anderen Anbietern verzerren und OpenAI-Modelle benachteiligen.

Ausführlich lesen

Der Bericht stellt IndQA vor, einen von OpenAI entwickelten Benchmark zur Bewertung, wie gut KI-Modelle Fragen zu indischer Kultur und Alltagsleben in indischen Sprachen verstehen und beantworten. OpenAI begründet die Entwicklung damit, dass viele Menschen weltweit Englisch nicht als Erstsprache sprechen, bestehende mehrsprachige Benchmarks aber ausgereizt seien und häufig vor allem Übersetzungen oder Multiple-Choice-Aufgaben prüften. Solche Tests erfassten laut Bericht kulturellen Kontext, Geschichte und alltagsnahe Themen nur unzureichend. Indien sei ein naheliegender Ausgangspunkt: OpenAI nennt rund eine Milliarde Menschen im Land, die Englisch nicht als Erstsprache verwenden, 22 Amtssprachen und ChatGPTs zweitgrößten Markt.

IndQA umfasst nach Angaben des Berichts 2.278 Fragen in zwölf Sprachen und zehn Themenbereichen. Dazu zählen unter anderem Architektur, Kunst, Alltag, Essen, Geschichte, Recht und Ethik, Literatur, Medien, Religion sowie Sport. Die Fragen wurden auf Bengali, Englisch, Hindi, Hinglish, Kannada, Marathi, Odia, Telugu, Gujarati, Malayalam, Punjabi und Tamil verfasst. Hinglish sei wegen des verbreiteten Sprachwechsels in Gesprächen eigens aufgenommen worden. An der Erstellung und Prüfung hätten 261 Fachleute aus Indien mitgewirkt, darunter Journalisten, Linguisten, Wissenschaftler und Kulturschaffende.

Die Fragen sollen kulturell verankertes Wissen und anspruchsvolles Schlussfolgern prüfen. Jeder Datensatz enthält eine Frage in einer indischen Sprache, eine englische Übersetzung zur Überprüfbarkeit, Bewertungskriterien und eine fachlich erstellte Musterantwort. Antworten werden anhand einer Rubrik bewertet: Fachleute legen Kriterien und deren Gewichtung fest; ein modellbasierter Prüfer bewertet, welche Kriterien erfüllt sind. Die erreichten Punkte werden zur Gesamtpunktzahl addiert.

Laut OpenAI entwarfen Fachleute schwierige, regionale Fragen und prüften diese anschließend adversativ mit damals starken OpenAI-Modellen. Behalten wurden Fragen, bei denen die Mehrheit der geprüften Modelle keine akzeptable Antwort lieferte. Die Fachleute ergänzten Musterantworten und Übersetzungen; diese wurden begutachtet und überarbeitet.

OpenAI berichtet, seine Modelle hätten sich über die vergangenen Jahre bei indischen Sprachen deutlich verbessert, es gebe aber weiterhin erheblichen Verbesserungsbedarf. Der vorliegende Text nennt dazu keine konkreten Punktzahlen. Er vergleicht GPT‑5 Thinking High mit anderen fortgeschrittenen Modellen nach Sprache und Themenbereich, doch die Werte sind im bereitgestellten Text nicht enthalten.

Der Bericht schränkt die Auswertung ausdrücklich ein: Die Fragen sind zwischen Sprachen nicht identisch, daher ist IndQA keine Rangliste zum direkten Vergleich der Sprachfähigkeiten. Vorgesehen sei vor allem, Fortschritte innerhalb einer Modellfamilie oder Konfiguration über die Zeit zu messen. Zudem richtet die Auswahl der Fragen den Benchmark gegen die getesteten OpenAI-Modelle aus. Das könne insbesondere den Vergleich von GPT‑5 verzerren und OpenAI-Modelle gegenüber anderen Anbietern benachteiligen. OpenAI hofft, dass IndQA die Forschung zu Benchmarks für bislang wenig abgedeckte Sprachen und Kulturbereiche anregt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Geprüft wurden beide Zusammenfassungen, kurz und mittel; beide sind im Kern treu, die Lücken betreffen beide gleichermaßen. Die Einordnung bewertet nur den Berichtsbezug, nicht die Stufen, die Luna vergeben hat; bei SF-O2, SF-F1-T09 und SF-E4-T01 weicht die Bewertung deutlich von Lunas Stufen ab.

Im Bericht, aber nicht in der Zusammenfassung

  • Motivation: Bestehende mehrsprachige Benchmarks wie MMMLU sind gesättigt und prüfen überwiegend Übersetzung oder Multiple Choice, was kulturellen Kontext und Schlussfolgern nicht erfasst.
  • Die zehn Kulturbereiche (z. B. Religion, Recht und Ethik, Essen) und die zwölf Sprachen einschließlich Hinglish werden nicht genannt.
  • Der Bezug auf rund 80 Prozent der Weltbevölkerung, die Englisch nicht als Hauptsprache nutzt, fehlt.
  • Die Begründung für Indien als Ausgangspunkt (rund eine Milliarde Menschen, 22 Amtssprachen, zweitgrößter ChatGPT-Markt) fehlt.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 23 %gleiches Oberthema, hilft nicht
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt? Luna: Stufe 4 · 59 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 6 · beantwortet teilweise oder widerspricht
    • SF-F1-T09 Wem gehört eine gemeinsam gebaute Testsammlung, wer darf sie an wessen Modellen erneut laufen lassen, darf ein Beteiligter seine Aufgaben zurückziehen, nachdem Ergebnisse veröffentlicht sind, und was wird dann aus der Vergleichbarkeit? Luna: Stufe 3 · 26 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 24 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 27 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 63 %einzelne zitierbare Belege
    • JEV 44 %beantwortet teilweise oder widerspricht
    • amos 28 %Hintergrund, keine Belege
    • SubQ 35 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege

Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 37 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 43 %einzelne zitierbare Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 68 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 62 %Hintergrund, keine Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →