Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi23. September 2024 · Q002266

Early Insights from Developing Question-Answer Evaluations for Frontier AI

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt fünf Schritte des damaligen AI Safety Institute zur Entwicklung offener Frage-Antwort-Evaluationen: relevante und klare Fragen formulieren, differenzierte Bewertungsregeln festlegen, Modellfähigkeiten mit Werkzeugen ermitteln, automatische Bewerter mit Expertenurteilen prüfen und passende menschliche Vergleichsgruppen bilden. Das Institut stellt den Ansatz als laufend zu verbessernde Praxis dar und betont Grenzen, etwa dass breit optimierte Fähigkeiten nicht unbedingt die realistische Nutzung durch alle Nutzergruppen abbilden und QA-Tests für eine vollständige Bewertung mit anderen Methoden kombiniert werden sollten.

Mittel

Der Bericht schildert die Erfahrungen des damaligen AI Safety Institute mit offenen Frage-Antwort-Tests für leistungsfähige KI. Diese sollen realitätsnähere und umfassendere Hinweise auf Fähigkeiten geben als Multiple-Choice-Aufgaben. Die Antworten lassen sich laut Institut weitgehend automatisiert bewerten; für eine vollständige Einschätzung müssten die Tests aber mit anderen Verfahren kombiniert werden.

Der Beitrag beschreibt fünf Arbeitsschritte: Fragen sollen risikorelevant, klar, nutzerbezogen und möglichst neuartig sein. Fragen und Bewertungsrichtlinien werden gemeinsam über mehrere Runden verfeinert; Teilbewertungen und die Analyse unbeantworteter oder fehlerhafter Antworten sollen zusätzliche Hinweise liefern. Bei der Fähigkeitsermittlung testet das Institut meist ein breites Spektrum an Werkzeugen, um eine mögliche obere Leistungsgrenze abzuschätzen. Es räumt ein, dass dies nicht vollständig abbildet, welche Mittel verschiedenen Nutzern tatsächlich zur Verfügung stehen. Getrennte Trainings-, Validierungs- und Testdaten sowie wiederholte Antworten sollen Überanpassung und Zufallseinflüsse mindern.

Automatische Bewerter werden mit Expertenurteilen auf Zuverlässigkeit und Verzerrungen geprüft. Ihre Leistung bei älteren oder schwächeren Modellen garantiert laut Bericht keine Leistung bei neuen Modellen. Menschliche Vergleichsgruppen müssen zur Fragestellung passen, sinnvoll motiviert und ausreichend groß sein. Der Text ist ein Praxisbericht, der offene Fragen und fortlaufenden Verbesserungsbedarf bei allen fünf Schritten betont.

Ausführlich lesen

Der Bericht des damaligen AI Safety Institute beschreibt, wie es offene Frage-Antwort-Evaluationen für leistungsfähige KI-Modelle entwickelt. Solche Tests sollen Fähigkeiten breiter erfassen als Multiple-Choice-Aufgaben: Offene Fragen ähneln laut Institut eher der Nutzung in Dialogsystemen und erschweren es, die richtige Antwort allein durch Ausschließen falscher Optionen zu finden. Antworten umfassen meist 100 bis 400 Wörter und lassen sich nach detaillierten Kriterien weitgehend automatisiert bewerten. Das Institut betont jedoch, dass diese Tests für eine umfassende Einschätzung mit anderen Verfahren wie längerfristigen Aufgaben oder randomisierten kontrollierten Studien kombiniert werden sollten.

Für die Entwicklung nennt der Beitrag fünf Schritte. Erstens sollen Fragen für ein konkretes Risikomodell relevant, aus der Perspektive der jeweils interessierenden Nutzergruppe formuliert, klar und möglichst originell sein. Das Institut beschreibt, dass es Fragen und Risikomodelle iterativ weiterentwickelt: Ergebnisse aus Tests können die Risikomodellierung verfeinern, die wiederum Änderungen an den Fragen anstößt. Es warnt vor Aufgaben, die eher wie Prüfungsfragen wirken als wie plausible reale Anwendungsfälle.

Zweitens sollen Bewertungsrichtlinien genaue Kriterien für richtige, teilweise richtige und falsche Antworten enthalten. Teilbewertungen liefern nach Darstellung des Instituts feinere Hinweise auf Fähigkeitsentwicklungen. Frage und Bewertungsrichtlinie würden gemeinsam in mehreren Runden mit menschlichen und/oder KI-Antworten überarbeitet. Zusätzlich empfiehlt der Beitrag, neben dem Anteil richtiger Antworten an allen Fragen auch den Anteil unter den tatsächlich beantworteten Fragen zu betrachten und fehlerhafte oder teilweise richtige Antworten auszuwerten.

Drittens versucht das Institut, Fähigkeiten unter einem breiten Spektrum verfügbarer Werkzeuge und Techniken zu erfassen. Es führt die Ermittlung in der Praxis meist einmal möglichst umfassend durch, obwohl wiederholte Tests mit jeweils realistisch verfügbaren Mitteln für unterschiedliche Nutzergruppen ideal wären. Das Vorgehen soll eine obere Leistungsgrenze für besonders versierte Akteure abschätzen und Hinweise auf mögliche künftige Fähigkeiten geben. Das Institut bezeichnet dies ausdrücklich als Kompromiss und will den Ansatz weiter untersuchen. Um Überanpassung zu begrenzen, trennt es Trainings-, Validierungs- und Testdaten; pro Frage werden üblicherweise mehrere, meist fünf, Antworten erzeugt und gemittelt. Die Optimierung soll für jedes Modell einzeln erfolgen, da Modelle unterschiedlich auf Prompts und Einstellungen reagieren.

Viertens wird ein automatischer Bewerter mit menschlichen Expertenbewertungen abgeglichen. Der Beitrag nennt Zuverlässigkeit und mögliche Verzerrungen als zentrale Prüfpunkte und empfiehlt, menschliche Bewertungen ebenfalls auf Uneinigkeit und Fehler zu untersuchen. Als Zuverlässigkeitsmaß nutzt das Institut nach eigener Darstellung Krippendorffs Alpha. Bei neuen oder deutlich leistungsfähigeren Modellen prüfe es den Bewerter typischerweise anhand von 50 Expertenbewertungen je Evaluation. Prompt-Anpassungen hätten bisher die größten Verbesserungen gebracht; wiederholte Bewertungen könnten zusätzlich helfen, verursachten aber erhebliche Kosten und brächten abnehmenden Zusatznutzen. Die Ergebnisse eines Bewerters bei schwächeren Modellen garantierten nicht, dass er bei neuen Modellen zuverlässig bleibt.

Fünftens sollen menschliche Vergleichsgruppen passend zur Fragestellung ausgewählt, angemessen motiviert und ausreichend groß sein. Fachleute mit Zeit und Internetzugang können eine obere menschliche Vergleichsleistung abbilden; Novizen unter Zeitdruck eher typische Nutzung. Das Institut berichtet, dass ungeeignete Anreize Teilnehmende zu knappen, falschen Antworten verleiten können, und empfiehlt bei Größenplanung statistische Power-Berechnungen.

Der Beitrag ist ein Erfahrungsbericht über die eigene Evaluationspraxis, keine umfassende vergleichende Studie. Er macht deutlich, dass Fragen, Bewertungsmaßstäbe, automatische Benotung und menschliche Vergleichswerte laufend überprüft werden müssen. Das Institut lädt zur Zusammenarbeit an sich entwickelnden Evaluationsstandards ein.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassungen geben den Bericht im Wesentlichen treu wieder; es fehlen nur einige Detailangaben wie das Reliabilitätsmaß und der Selbstbevorzugungsbefund. Bei der Einordnung hat Luna die Antworten deutlich überschätzt: Der Bericht ist ein Praxisbericht zu offenen QA-Evaluationen und beantwortet keine der sechs Fragen direkt.

Im Bericht, aber nicht in der Zusammenfassung

  • Krippendorffs Alpha als Maß für die Zuverlässigkeit des automatischen Bewerters, mit Richtwert 0,75 bis 0,90
  • Befund, dass der automatische Bewerter bisher keine positive Verzerrung zugunsten eigener Ausgaben zeigt
  • Prompt-Engineering mit Chain-of-Thought und Few-Shot als bisher größte Verbesserung des Bewerters
  • Prüfung neuer Modelle durch je 50 menschlich bewertete Antworten

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 25 %Hintergrund, keine Belege
    • Luna 48 %einzelne zitierbare Belege
    • JEV 42 %beantwortet teilweise oder widerspricht
    • amos 37 %einzelne zitierbare Belege
    • SubQ 24 %einzelne zitierbare Belege
    • drex 27 %Hintergrund, keine Belege
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 4 · 41 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
    • SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 26 %Hintergrund, keine Belege
    • Luna 48 %Hintergrund, keine Belege
    • JEV 35 %Hintergrund, keine Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F2-T01 Wenn ein Ministerium ein Modell als Beleg nennt, dass eine Schwelle überschritten ist: Veröffentlicht das Ministerium die Tests, die Modellversion und was es gemessen hat, und veröffentlicht das Labor die Cyber-Prüfung dieser Version auch in der Sprache des Ministeriums? Und welches Ergebnis würde das Ministerium dazu bringen, seine Behauptung zurückzunehmen? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-F2-T02 Wenn ein Staat fremde Modelle als Zeichen einer neuen Stufe nennt: Beruht das auf eigenen Messungen, die er so veröffentlichen könnte wie andere ihre Messungen? Und haben Labore vergleichbare Prüfungen fremder Modelle durchgeführt und sich entschieden, sie nicht zu veröffentlichen? Gefragt wurde das zu Minister Chen Yixins Nennung von Claude Mythos und GPT-5.5-Cyber als Zeichen der Phase „KI gegen KI“ bei Cyberangriff und -abwehr, nachdem die US-Prüfstelle CAISI Messungen von GLM-5.3 (17. September 2026) und, mit dem britischen AI Security Institute, von Kimi K3 (Juli 2026) veröffentlicht hatte, und zu Prüfungen von OpenAI und Anthropic an Modellen von DeepSeek, GLM, Qwen oder Kimi. Luna: Stufe 3 · 40 % · Hintergrund, keine Belege
    • SF-F2-T03 Ein Minister beschreibt Risiken durch Spionage und Datenabfluss, etwa über quelloffene KI-Agentenwerkzeuge, und durch ein Ungleichgewicht in der technologischen Entwicklung, das Monopole und Technologiebeschränkungen verschärfen. Welche veröffentlichten Belege würden diese Risiken an der Fähigkeit eines Modells statt an seiner Herkunft festmachen? Luna: Stufe 4 · 39 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  3. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 38 %Hintergrund, keine Belege
    • Luna 37 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F3-T02 Welche Verantwortung sollten KI-Firmen gegenüber der Öffentlichkeit tragen, wenn ihre Modelle grundlegende wissenschaftliche Entdeckungen ermöglichen, die gefährliche Anwendungen finden könnten? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
  4. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 24 %Hintergrund, keine Belege
    • Luna 52 %Hintergrund, keine Belege
    • JEV 35 %Hintergrund, keine Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F4-T03 Welche neue Prüfung braucht jeder Einsatz, wenn Fähigkeiten zunehmend im Nachdenken des Modells während der Nutzung stecken statt in einem einmal trainierten Modell, und würden die für ein festes Modell gebauten Freigabetests das noch erfassen? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 32 %Hintergrund, keine Belege
    • Luna 37 %Hintergrund, keine Belege
    • JEV 27 %gleiches Oberthema, hilft nicht
    • amos 28 %nur am Rande erwähnt
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-P1-T05 Welchen Ausrichtungstest (eine Prüfung, ob ein Modell den vorgesehenen Zielen und Werten folgt) würde ein Labor als bestanden anerkennen, wenn ein Konkurrent ihn durchführt, an dessen Modell und am eigenen? Luna: Stufe 3 · 26 % · Hintergrund, keine Belege
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 27 %Hintergrund, keine Belege
    • Luna 48 %Hintergrund, keine Belege
    • JEV 27 %gleiches Oberthema, hilft nicht
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 19 %Hintergrund, keine Belege
    • Luna 49 %umfangreiche Belege
    • JEV 43 %beantwortet teilweise oder widerspricht
    • amos 29 %Hintergrund, keine Belege
    • SubQ 26 %einzelne zitierbare Belege
    • drex 25 %Hintergrund, keine Belege
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-P3-T01 Welcher gemeinsame Rahmen für Labore macht Selbstüberwachung überprüfbar, ohne geschütztes geistiges Eigentum offenzulegen, und welche unabhängigen Verfahren Dritter, falls es sie gibt, bestätigen, dass die Selbstüberwachung riskantes Verhalten vor der Freigabe wirklich findet und nicht nur Schein ist? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
    • SF-P3-T03 Welche Rolle spielten Modelle der geprüften Modellfamilie, wenn überhaupt, beim Entwerfen, Durchführen oder Bewerten von Prüfungen oder Sicherheitsberichten, die Regierungen vorgelegt werden, und wird diese Rolle offengelegt? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-P3-T04 Wer prüft die KI-Modelle, die andere Modelle prüfen, auf Anweisungen, Versionen und Fehlerfälle, und welche unabhängige Prüfung zeigt, dass das geprüfte Modell sie nicht manipulieren kann, besonders wenn sie aus derselben Modellfamilie stammen? Und wenn gemeinsame Tests, Schweregrade und die Ersteinstufung von Meldungen von Sprachmodellen entworfen, durchgeführt und zusammengefasst werden: Nimmt jeder Staat einen Prüfmechanismus an, dessen Kernbausteine aus ausländischen Laboren stammen? Luna: Stufe 4 · 30 % · einzelne zitierbare Belege
    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
  4. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 32 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 30 %gleiches Oberthema, hilft nicht
    • Luna 62 %Hintergrund, keine Belege
    • JEV 38 %gleiches Oberthema, hilft nicht
    • amos 33 %Hintergrund, keine Belege
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 34 %gleiches Oberthema, hilft nicht
    • Luna 28 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 66 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 23 %Hintergrund, keine Belege
    • Luna 35 %Hintergrund, keine Belege
    • JEV 23 %Hintergrund, keine Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 23 %Hintergrund, keine Belege
    • d3-ultra offen

    • SF-V1-T01 Welche beobachtbaren Belege zeigen die Ziele und Werte eines Modells und ob es noch ausgerichtet ist, wenn seine sichtbaren Gedankengänge kein verlässlicher Hinweis mehr darauf sind oder ihre Überwachung nachlässt? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 4 · 37 % · einzelne zitierbare Belege
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
    • SF-V1-T04 Wie misst man die Überwachbarkeit des Denkens mit einem gemeinsamen, reproduzierbaren Maßstab, bevor sie versagt, und wie prüft man verlässlich, ob das sichtbare Denken das tatsächliche Vorgehen des Modells treu wiedergibt, auch wenn Modelle lernen, ihre Denkschritte zu optimieren? Und wenn Überwachungsergebnisse beeinflussen, welche Trainingsdaten oder Zwischenstände behalten werden: Wie prüft man, ob diese Auswahl weniger erkennbares Fehlverhalten statt weniger Fehlverhalten begünstigt, auch wenn der Denktext nie direkt bewertet wird? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
    • SF-V1-T09 Wenn Labore bessere Überwacher bauen, Modelle lernen, ihnen auszuweichen, und sich dieses Wechselspiel in jedem Labor beschleunigt: Behandeln Regierungen diesen Wettlauf selbst als Sicherheitsfrage zwischen Staaten, und welche gemeinsamen Belege würden zeigen, dass er beherrscht ist? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 4 · 42 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-V1-T15 Welches messbare Maß für Überwachbarkeit könnte neben Fähigkeitstests stehen, und würden Labore es tatsächlich über weitere Skalierung entscheiden lassen? Welcher gemessene Verlust an Überwachung würde Einschränkungen der Selbstständigkeit eines Modells auslösen, und wie erkennt man Fehler, die im sichtbaren Denken nicht auftauchen? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 27 %Hintergrund, keine Belege
    • Luna 51 %Hintergrund, keine Belege
    • JEV 35 %Hintergrund, keine Belege
    • amos 35 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 45 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 24 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 22 %Hintergrund, keine Belege
    • Luna 48 %einzelne zitierbare Belege
    • JEV 33 %Hintergrund, keine Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 34 %nur am Rande erwähnt
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 36 %gleiches Oberthema, hilft nicht
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 36 %einzelne zitierbare Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 63 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

  2. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 27 %Hintergrund, keine Belege
    • Luna 56 %einzelne zitierbare Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 27 %nur am Rande erwähnt
    • SubQ 33 %gleiches Oberthema, hilft nicht
    • drex 32 %nur am Rande erwähnt
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
  3. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  4. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →