Introducing IndQA
Zusammenfassung
Kurz
OpenAI beschreibt IndQA als Benchmark mit 2.278 kulturell verankerten Fragen in zwölf indischen Sprachen, erstellt und geprüft von 261 Fachleuten. Der Bericht meldet qualitative Fortschritte bei OpenAI-Modellen, nennt hier aber keine Punktzahlen und warnt, dass die sprachübergreifenden Werte nicht direkt vergleichbar sind und die gegen OpenAI-Modelle gerichtete Fragenauswahl Vergleiche verzerren kann.
Mittel
OpenAI stellt IndQA vor, einen Benchmark für das Verständnis indischer Kultur und Alltagsfragen in indischen Sprachen. Er umfasst laut Bericht 2.278 Fragen in zwölf Sprachen und zehn Themenbereichen. 261 Fachleute aus Indien verfassten und prüften die Aufgaben. Jede enthält eine Frage in der jeweiligen Sprache, eine englische Übersetzung, gewichtete Bewertungskriterien und eine Musterantwort. Ein modellbasierter Prüfer bewertet, welche Kriterien eine Antwort erfüllt.
Die Fragen wurden gezielt anspruchsvoll gestaltet und mit damaligen starken OpenAI-Modellen getestet; Aufgaben, bei denen die Mehrheit keine akzeptable Antwort gab, blieben im Benchmark. OpenAI berichtet von deutlichen Fortschritten seiner Modelle, nennt im bereitgestellten Text jedoch keine konkreten Messwerte. Der Bericht betont, dass IndQA wegen unterschiedlicher Fragen je Sprache keine direkte Sprachrangliste ermöglicht, sondern vor allem Fortschritte innerhalb einer Modellfamilie über die Zeit erfassen soll. Außerdem könne die Auswahl, die gegen OpenAI-Modelle getestet wurde, deren Vergleich mit anderen Anbietern verzerren und OpenAI-Modelle benachteiligen.
Ausführlich lesen
Der Bericht stellt IndQA vor, einen von OpenAI entwickelten Benchmark zur Bewertung, wie gut KI-Modelle Fragen zu indischer Kultur und Alltagsleben in indischen Sprachen verstehen und beantworten. OpenAI begründet die Entwicklung damit, dass viele Menschen weltweit Englisch nicht als Erstsprache sprechen, bestehende mehrsprachige Benchmarks aber ausgereizt seien und häufig vor allem Übersetzungen oder Multiple-Choice-Aufgaben prüften. Solche Tests erfassten laut Bericht kulturellen Kontext, Geschichte und alltagsnahe Themen nur unzureichend. Indien sei ein naheliegender Ausgangspunkt: OpenAI nennt rund eine Milliarde Menschen im Land, die Englisch nicht als Erstsprache verwenden, 22 Amtssprachen und ChatGPTs zweitgrößten Markt.
IndQA umfasst nach Angaben des Berichts 2.278 Fragen in zwölf Sprachen und zehn Themenbereichen. Dazu zählen unter anderem Architektur, Kunst, Alltag, Essen, Geschichte, Recht und Ethik, Literatur, Medien, Religion sowie Sport. Die Fragen wurden auf Bengali, Englisch, Hindi, Hinglish, Kannada, Marathi, Odia, Telugu, Gujarati, Malayalam, Punjabi und Tamil verfasst. Hinglish sei wegen des verbreiteten Sprachwechsels in Gesprächen eigens aufgenommen worden. An der Erstellung und Prüfung hätten 261 Fachleute aus Indien mitgewirkt, darunter Journalisten, Linguisten, Wissenschaftler und Kulturschaffende.
Die Fragen sollen kulturell verankertes Wissen und anspruchsvolles Schlussfolgern prüfen. Jeder Datensatz enthält eine Frage in einer indischen Sprache, eine englische Übersetzung zur Überprüfbarkeit, Bewertungskriterien und eine fachlich erstellte Musterantwort. Antworten werden anhand einer Rubrik bewertet: Fachleute legen Kriterien und deren Gewichtung fest; ein modellbasierter Prüfer bewertet, welche Kriterien erfüllt sind. Die erreichten Punkte werden zur Gesamtpunktzahl addiert.
Laut OpenAI entwarfen Fachleute schwierige, regionale Fragen und prüften diese anschließend adversativ mit damals starken OpenAI-Modellen. Behalten wurden Fragen, bei denen die Mehrheit der geprüften Modelle keine akzeptable Antwort lieferte. Die Fachleute ergänzten Musterantworten und Übersetzungen; diese wurden begutachtet und überarbeitet.
OpenAI berichtet, seine Modelle hätten sich über die vergangenen Jahre bei indischen Sprachen deutlich verbessert, es gebe aber weiterhin erheblichen Verbesserungsbedarf. Der vorliegende Text nennt dazu keine konkreten Punktzahlen. Er vergleicht GPT‑5 Thinking High mit anderen fortgeschrittenen Modellen nach Sprache und Themenbereich, doch die Werte sind im bereitgestellten Text nicht enthalten.
Der Bericht schränkt die Auswertung ausdrücklich ein: Die Fragen sind zwischen Sprachen nicht identisch, daher ist IndQA keine Rangliste zum direkten Vergleich der Sprachfähigkeiten. Vorgesehen sei vor allem, Fortschritte innerhalb einer Modellfamilie oder Konfiguration über die Zeit zu messen. Zudem richtet die Auswahl der Fragen den Benchmark gegen die getesteten OpenAI-Modelle aus. Das könne insbesondere den Vergleich von GPT‑5 verzerren und OpenAI-Modelle gegenüber anderen Anbietern benachteiligen. OpenAI hofft, dass IndQA die Forschung zu Benchmarks für bislang wenig abgedeckte Sprachen und Kulturbereiche anregt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Geprüft wurden beide Zusammenfassungen, kurz und mittel; beide sind im Kern treu, die Lücken betreffen beide gleichermaßen. Die Einordnung bewertet nur den Berichtsbezug, nicht die Stufen, die Luna vergeben hat; bei SF-O2, SF-F1-T09 und SF-E4-T01 weicht die Bewertung deutlich von Lunas Stufen ab.
Im Bericht, aber nicht in der Zusammenfassung
- Motivation: Bestehende mehrsprachige Benchmarks wie MMMLU sind gesättigt und prüfen überwiegend Übersetzung oder Multiple Choice, was kulturellen Kontext und Schlussfolgern nicht erfasst.
- Die zehn Kulturbereiche (z. B. Religion, Recht und Ethik, Essen) und die zwölf Sprachen einschließlich Hinglish werden nicht genannt.
- Der Bezug auf rund 80 Prozent der Weltbevölkerung, die Englisch nicht als Hauptsprache nutzt, fehlt.
- Die Begründung für Indien als Ausgangspunkt (rund eine Milliarde Menschen, 22 Amtssprachen, zweitgrößter ChatGPT-Markt) fehlt.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 23 %gleiches Oberthema, hilft nicht
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen?
- SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt?
- SF-F1-T09 Wem gehört eine gemeinsam gebaute Testsammlung, wer darf sie an wessen Modellen erneut laufen lassen, darf ein Beteiligter seine Aufgaben zurückziehen, nachdem Ergebnisse veröffentlicht sind, und was wird dann aus der Vergleichbarkeit?
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 27 %Hintergrund, keine Belege
- JEV 39 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 63 %einzelne zitierbare Belege
- JEV 44 %beantwortet teilweise oder widerspricht
- amos 28 %Hintergrund, keine Belege
- SubQ 35 %gleiches Oberthema, hilft nicht
- drex 33 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T04 Wer prüft die KI-Modelle, die andere Modelle prüfen, auf Anweisungen, Versionen und Fehlerfälle, und welche unabhängige Prüfung zeigt, dass das geprüfte Modell sie nicht manipulieren kann, besonders wenn sie aus derselben Modellfamilie stammen? Und wenn gemeinsame Tests, Schweregrade und die Ersteinstufung von Meldungen von Sprachmodellen entworfen, durchgeführt und zusammengefasst werden: Nimmt jeder Staat einen Prüfmechanismus an, dessen Kernbausteine aus ausländischen Laboren stammen?
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 58 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 37 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 43 %einzelne zitierbare Belege
- JEV 39 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 68 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 31 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E4-T01 Was hieße die Formel von KI als „gemeinsamem Gut der ganzen Menschheit“ praktisch (Zugang, Teilen des Nutzens, gestaffelte Preise, Technologietransfer), so dass jeder Staat sie tatsächlich unterschreiben und prüfen könnte?
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv