Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
fragen-fundeohne Datum · Q000071

Cross‐lingual safety asymmetry in open‐weight LLMs

onlinelibrary.wiley.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt eine deutliche koreanischsprachige Sicherheitslücke bei sechs offenen Sprachmodellen, während die gemessenen Raten für Chinesisch näher am englischen Ausgangswert lagen. Übersetzungsqualität machte laut Autoren bei Qwen einen großen Unterschied, bei Phi-3, Yi und InternLM blieb die Lücke bestehen. Die Ergebnisse sind durch die begrenzte Modellauswahl, die Bewertungsverfahren und fehlenden Einblick in Trainingsdaten eingeschränkt.

Mittel

Der Bericht vergleicht sechs offene Sprachmodelle anhand von 17 Prompt-Bedingungen auf Koreanisch und Chinesisch. Die Autoren analysieren 53.040 Antworten und ergänzen Prüfungen auf Französisch, Spanisch und mit HarmBench. Sie bewerten Antworten per Mustererkennung und zusätzlich durch ein Sprachmodell als Richter.

Laut Bericht unterscheiden sich die Ergebnisse deutlich nach Sprache: Die mittlere Erfolgsrate bei koreanischen Prompts lag in der direkten NLLB-Bedingung bei 33,8 Prozent, gegenüber 3,6 Prozent auf Englisch und 5,2 Prozent auf Chinesisch. Der Richter bestätigte die Richtung, bewertete koreanische Antworten aber seltener als schädliche Erfüllungen. Qwen reagierte stärker auf Übersetzungsqualität: Hochwertigere Übersetzungen senkten die Rate deutlich. Bei Phi-3-medium, Yi und InternLM blieb sie auch dann hoch. Yi und InternLM waren zugleich vergleichsweise sicher auf Chinesisch, was die Autoren als sprachspezifische Sicherheitsabdeckung deuten.

Eine koreanische Rahmung englischer Inhalte blieb nahe am englischen Ausgangswert; Wortsubstitution und die Aufforderung zu einer englischen Antwort erhöhten die Raten. Die Autoren empfehlen deshalb sprachspezifische Prüfungen und gezielte koreanische Sicherheitsdaten. Grenzen: kleine Modellauswahl, Sprachen mit relativ vielen Ressourcen, unvollkommene Bewertungsverfahren und keine direkte Prüfung der Trainingsdaten. Zudem können unverständliche Wortsubstitutions-Prompts die gemessene Umgehungsrate überzeichnen.

Ausführlich lesen

Der Bericht untersucht, ob Sicherheitsverhalten von sechs offenen Sprachmodellen von Englisch auf andere Sprachen übergeht und ob auffällige Ergebnisse durch schlechte Übersetzungen entstehen. Dafür vergleichen die Autoren Koreanisch und Chinesisch in 17 Prompt-Bedingungen mit drei Übersetzungssystemen: NLLB-200, Gemini und GPT-5.2. Sie erzeugen laut Bericht 53.040 Antworten auf AdvBench-Prompts und ergänzen Prüfungen mit Französisch, Spanisch und einem HarmBench-Teildatensatz. Antworten bewerten sie sowohl mit einem Mustererkennungssystem als auch mit einem Sprachmodell als Richter; für zentrale Raten geben sie Wilson-Konfidenzintervalle an.

Die Autoren berichten, dass die Sicherheitslücken sprachspezifisch seien und nicht einfach alle nicht-englischen Eingaben beträfen. In der direkten NLLB-Bedingung lag die mittlere Angriffs-Erfolgsrate bei koreanischen Prompts laut Mustererkennung bei 33,8 Prozent, gegenüber 3,6 Prozent im englischen Ausgangswert. Für chinesische Prompts betrug sie 5,2 Prozent. Auch Französisch und Spanisch lagen in den Robustheitsprüfungen deutlich unter Koreanisch. Die Ergebnisse der beiden Klassifikatoren stimmen in der Richtung überein, doch der Sprachmodell-Richter senkt insbesondere die koreanischen Werte: Auf einer geprüften Stichprobe betrugen sie 25,6 Prozent nach Mustererkennung und 13,6 Prozent nach Richterbewertung.

Ein zweites Hauptergebnis ist eine Zweiteilung nach Übersetzungsabhängigkeit. Bei den Qwen-Modellen fielen die koreanischen Erfolgsraten mit den als hochwertiger bewerteten Gemini- und GPT-Übersetzungen nahe an den englischen Ausgangswert; mit NLLB lagen sie höher. Die Autoren deuten dies als Hinweis, dass Übersetzungsqualität bei diesen Modellen einen Teil der Lücke erklären könnte. Bei Phi-3-medium, Yi und InternLM blieben die Raten auch mit den hochwertigeren Übersetzungen hoch. Die Autoren vermuten hier eine unzureichende koreanische Sicherheitsabdeckung, können die Trainingsdaten jedoch nicht direkt überprüfen. Besonders Yi und InternLM zeigten laut Bericht zugleich niedrige Raten auf Chinesisch und hohe auf Koreanisch.

Weitere Prompt-Varianten stützen diese Interpretation teilweise: Eine koreanische Rahmung englischer schädlicher Inhalte blieb nahe am englischen Ausgangswert, während eine koreanische Wortsubstitution englischer Begriffe eine erhöhte Rate zeigte. Die höchste koreanische Rate ergab sich bei NLLB-Prompts, die zusätzlich eine englische Antwort verlangten. Die Autoren ordnen diese Werte als Sicherheitsumgehung ein; bei Wortsubstitution könnten manche Antworten wegen unverständlicher Prompts nicht tatsächlich umsetzbar sein.

Die Autoren folgern, dass mehrsprachige Sicherheit je Sprache und Modell geprüft werden müsse. Als mögliche Maßnahmen nennen sie bessere Übersetzungen für übersetzungsabhängige Modelle und gezielte Sicherheitsdaten auf Koreanisch für Modelle mit anhaltender Lücke. Die Aussagekraft ist begrenzt: Untersucht wurden nur sechs Modelle mit 7 bis 14 Milliarden Parametern, überwiegend hochressourcenreiche Sprachen und statische Einzelprompts. Beide Bewertungsverfahren haben Schwächen; eine menschlich annotierte Vergleichsmenge wäre laut Bericht besser. Zudem bilden die Übersetzungssysteme keine kontrollierte Qualitätsabstufung, und Ursachen wie Trainingsdaten oder Tokenizer wurden nicht nachgewiesen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassung ist im Wesentlichen treu. Die Bewertung der Teilfragen stützt sich auf den Text des Berichts; die Einordnungen zu SF-F2 und SF-V3-T04 sind Grenzfälle, weil der Bericht dort nur mittelbar an die Frage anschließt.

Im Bericht, aber nicht in der Zusammenfassung

  • Die drei Übersetzungsengines (NLLB-200, Gemini 3.0 Pro, GPT-5.2) werden nicht genannt.
  • Die Wilson-95%-Konfidenzintervalle und die Stichprobe von 7500 Richterurteilen fehlen.
  • KO EN (Anfrage einer englischen Antwort) gilt laut Bericht als wirksamster Angriffsvektor und erreicht die höchste Einzelbedingungsrate (37,4 %); das fehlt.
  • Die Ergebnisse für Französisch und Spanisch (deutlich unter Koreanisch) werden nur allgemein als Sprachen mit vielen Ressourcen erwähnt, nicht als Befund.
  • Die Kategorieanalyse (Täuschung und Selbstverletzung stärker betroffen als Gewalt) fehlt.
  • Die Zusammenfassung trennt nicht klar, welcher der drei Textabschnitte Lunas Hauptzusammenfassung ist; der unbeschriftete Abschnitt wurde als Teil davon bewertet.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 22 %Hintergrund, keine Belege
    • Luna 42 %einzelne zitierbare Belege
    • JEV 43 %beantwortet teilweise oder widerspricht
    • amos 32 %einzelne zitierbare Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 24 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege
    • SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt? Luna: Stufe 7 · 40 % · beantwortet direkt und ausführlich · Haiku-Prüfung: Stufe 6 · beantwortet teilweise oder widerspricht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 45 %umfangreiche Belege
    • JEV 40 %beantwortet teilweise oder widerspricht
    • amos 25 %einzelne zitierbare Belege
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-F2-T03 Ein Minister beschreibt Risiken durch Spionage und Datenabfluss, etwa über quelloffene KI-Agentenwerkzeuge, und durch ein Ungleichgewicht in der technologischen Entwicklung, das Monopole und Technologiebeschränkungen verschärfen. Welche veröffentlichten Belege würden diese Risiken an der Fähigkeit eines Modells statt an seiner Herkunft festmachen? Luna: Stufe 3 · 26 % · Hintergrund, keine Belege
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 21 %Hintergrund, keine Belege
    • Luna 50 %einzelne zitierbare Belege
    • JEV 43 %umfangreiche Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
    • SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 21 %Hintergrund, keine Belege
    • Luna 36 %einzelne zitierbare Belege
    • JEV 30 %umfangreiche Belege
    • amos 31 %einzelne zitierbare Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 19 %einzelne zitierbare Belege
    • d3-ultra offen

    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 3 · 24 % · Hintergrund, keine Belege
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 4 · 33 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 19 %Hintergrund, keine Belege
    • Luna 45 %einzelne zitierbare Belege
    • JEV 36 %beantwortet teilweise oder widerspricht
    • amos 32 %einzelne zitierbare Belege
    • SubQ 26 %gleiches Oberthema, hilft nicht
    • drex 22 %Hintergrund, keine Belege
    • d3-ultra offen
    • Haiku-Prüfung beantwortet teilweise oder widerspricht

    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 44 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 22 %Hintergrund, keine Belege
    • Luna 38 %einzelne zitierbare Belege
    • JEV 45 %beantwortet teilweise oder widerspricht
    • amos 29 %einzelne zitierbare Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 26 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 27 %Hintergrund, keine Belege
    • Luna 44 %Hintergrund, keine Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 44 %einzelne zitierbare Belege
    • JEV 29 %nur am Rande erwähnt
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 25 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 62 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 39 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 32 %gleiches Oberthema, hilft nicht
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →