Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
oecd14. Dezember 2021 · Q006696

Testing frameworks for the classification of AI systems

oecd.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

CSET testete mehrere Rahmen, mit denen Menschen KI-Systeme anhand von Merkmalen wie Autonomie und Auswirkungen einordnen sollen. Die Rahmen C und D sowie eine zusammenfassende Rubrik führten laut Bericht zu mehr korrekten und übereinstimmenden Einstufungen; technische Merkmale und Autonomie waren schwieriger zu bewerten. Die Ergebnisse hängen wesentlich davon ab, ob ausreichend zugängliche Informationen über den Einsatz und die Technik vorliegen.

Mittel

Der Bericht untersucht, ob Klassifikationsrahmen KI-Systeme verständlicher und vergleichbarer machen können. Sie ordnen beobachtbare Merkmale wie Autonomie, Auswirkungen und Einsatzkontext anhand festgelegter Dimensionen und Skalen ein. CSET verglich in einem Umfrageexperiment mehrere Rahmen, darunter Varianten mit zwei Dimensionen (Autonomie und Auswirkung) sowie einen Rahmen mit vier Hauptbereichen und neun Dimensionen. In zwei Runden 2020 klassifizierten mehr als 360 Personen über 1.800 reale KI-Systeme.

Als korrekt und konsistent galt eine Einstufung, wenn mindestens 65 Prozent dieselbe Kategorie wählten und diese einer Expert*inneneinschätzung entsprach. Rahmen C und D erzielten laut Bericht mehr als doppelt so viele solcher Einstufungen wie Rahmen A ohne Zusammenfassungsrubrik. Eine Rubrik half; Auswirkungen ließen sich zuverlässiger klassifizieren als Autonomie. Technische Merkmale waren besonders schwierig. Die Ergebnisse hängen laut Bericht stark davon ab, ob ausreichend zugängliche Informationen und ein konkreter Anwendungsfall vorliegen. Bei Daten und Modellen erschweren fehlende, proprietäre oder komplexe Angaben die Einstufung. Die Studie zeigt Möglichkeiten im Umfrageexperiment, belegt aber nicht die Leistung in jedem praktischen Einsatz. Klassifikation wird als erster Schritt zu Risikobewertung und KI-Verwaltung verstanden.

Ausführlich lesen

Der Bericht behandelt, wie einheitliche Klassifikationsrahmen helfen könnten, KI-Systeme für Politik und Öffentlichkeit verständlich zu beschreiben und miteinander zu vergleichen. Als relevante Merkmale nennt er unter anderem Autonomie, Auswirkungen, Einsatzkontext und Datenerhebung. Ein Rahmen legt dafür Dimensionen und jeweils passende Skalen fest. Laut Bericht können solche Klassifikationen als erster Schritt für Risikobewertungen, Bias-Beobachtung und die Verwaltung von KI-Systembeständen dienen.

Zur Veranschaulichung ordnet der Artikel AlphaGo Zero anhand eines Rahmens als System mit hoher Autonomie und geringer Auswirkung ein: Das Programm wählt selbstständig Spielzüge, deren Folgen laut Beschreibung auf das Go-Spiel begrenzt sind. Der Bericht nutzt dieses Beispiel, um zu zeigen, wie Klassifikationen Vergleiche und eine erste Einschätzung möglicher Regulierungsbedarfe erleichtern könnten. Das Beispiel ist keine allgemeine Risikobewertung aller Systeme.

Das Center for Security and Emerging Technology (CSET) untersuchte in einem Umfrageexperiment mehrere Rahmen. Dazu gehörten eine Variante des OECD-Rahmens sowie gemeinsam mit dem US-Heimatschutzministerium entwickelte Varianten. Die Rahmen unterschieden sich in ihren Dimensionen und Bezeichnungen: A, B und C beruhten auf Autonomie und Auswirkung; Rahmen D umfasste Kontext, Input, KI-Modell und Output mit insgesamt neun Dimensionen. Befragte wurden zufällig einem Rahmen zugeteilt, lasen ihn und klassifizierten reale KI-Systeme. In zwei Erhebungsrunden von September bis Dezember 2020 gaben mehr als 360 Personen über 1.800 Klassifikationen ab.

Als konsistent und korrekt wertete die Studie eine Zuordnung, wenn mindestens 65 Prozent der Befragten dieselbe Dimensionseinstufung vornahmen und diese mit einer Expert*inneneinstufung übereinstimmte. Laut Bericht schnitten die Rahmen C und D am besten ab: Der Anteil solcher Einstufungen war mehr als doppelt so hoch wie bei Rahmen A ohne Zusammenfassungsrubrik. Eine Rubrik mit den Dimensionen verbesserte die Ergebnisse signifikant. Befragte stuften Auswirkungen zuverlässiger ein als Autonomie; bei Rahmen D gelang die Einordnung des Einsatzkontexts besser als die technischer Merkmale. Beschreibendere Autonomiestufen wie „Handlung“, „Entscheidung“ und „Wahrnehmung“ könnten nach ersten Hinweisen ebenfalls helfen.

Der Bericht betont zugleich Grenzen: Klassifikationen hängen von zugänglichen, ausreichenden Informationen ab. Fehlt in einer Systembeschreibung ein konkreter Anwendungsfall, fallen Einordnungen uneinheitlicher aus. Technische Dimensionen zu Daten und Modellen waren schwieriger zu klassifizieren, weil dazu oft Informationen fehlen oder sie proprietär beziehungsweise technisch komplex sind. Die Untersuchung prüfte die Rahmen in einem Umfrageexperiment; der Artikel belegt damit nicht, dass sie in jedem politischen oder praktischen Einsatz gleich gut funktionieren. Die Autor*innen sehen die Rahmen als ersten Schritt und fordern weitere Erprobung und Weiterentwicklung. CSET erklärt, für die Forschung keine Mittel des US-Heimatschutzministeriums oder anderer Regierungsstellen erhalten zu haben; die dargestellten Ansichten seien nicht notwendigerweise offizielle Positionen des Ministeriums.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna nannte zu den Sammelfragen Stufen und Anteile (91 %, 81 %, 79 %); diese Zahlen stehen nicht im Bericht, und die Stufe 3 ist nicht begründet, weil die Fragen zu Vorfällen, Pausen und Rechenschaft kaum mit dem Berichtsinhalt zur Klassifikation von KI-Systemen zusammenhängen. Teilfragen waren nicht angegeben.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Befund, dass Menschen mit begrenztem technischem Wissen bei minimalen Systeminformationen mit moderatem Erfolg klassifizieren können
  • Der Befund, dass beschreibendere Stufen wie action, decision und perception die Autonomie-Einstufung verbessern
  • Der Ausblick, dass die Arbeitsgruppe des OECD.AI-Netzwerks Konsultationsfeedback einarbeitet und der aktualisierte Rahmen Anfang 2022 erscheinen soll

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Einschränkung, die Studie belege die Leistung nicht in jedem praktischen Einsatz, steht so nicht im Bericht und ist eine eigene Schlussfolgerung

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M1 Ab wann ist ein KI-Vorfall so ernst, dass Staaten ihn einander melden müssen?
    • clef 100 %kein Bezug
    • Luna 91 %Hintergrund, keine Belege
    • JEV 53 %gleiches Oberthema, hilft nicht
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 66 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 71 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 38 %gleiches Oberthema, hilft nicht
    • Luna 73 %Hintergrund, keine Belege
    • JEV 36 %Hintergrund, keine Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 76 %gleiches Oberthema, hilft nicht
    • drex 78 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  4. SF-M5 Was muss vor und nach einem Vorfall geschehen, damit Verantwortliche einstehen, man daraus lernt, Beweise bleiben und Betroffene auch über Grenzen hinweg zu ihrem Recht kommen?
    • clef 100 %kein Bezug
    • Luna 79 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 73 %gleiches Oberthema, hilft nicht
    • drex 71 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 31 %gleiches Oberthema, hilft nicht
    • Luna 48 %Hintergrund, keine Belege
    • JEV 39 %Hintergrund, keine Belege
    • amos 35 %nur am Rande erwähnt
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 71 %gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 73 %Hintergrund, keine Belege
    • JEV 39 %Hintergrund, keine Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra 66 %gleiches Oberthema, hilft nicht
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 27 %gleiches Oberthema, hilft nicht
    • Luna 67 %Hintergrund, keine Belege
    • JEV 41 %gleiches Oberthema, hilft nicht
    • amos 29 %nur am Rande erwähnt
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 60 %gleiches Oberthema, hilft nicht
  4. SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 42 %gleiches Oberthema, hilft nicht
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 72 %gleiches Oberthema, hilft nicht
    • drex 65 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 30 %gleiches Oberthema, hilft nicht
    • Luna 45 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 26 %gleiches Oberthema, hilft nicht
    • SubQ 66 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 67 %gleiches Oberthema, hilft nicht
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 70 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 34 %gleiches Oberthema, hilft nicht
    • Luna 81 %Hintergrund, keine Belege
    • JEV 45 %gleiches Oberthema, hilft nicht
    • amos 29 %Hintergrund, keine Belege
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 64 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 65 %Hintergrund, keine Belege
    • JEV 42 %gleiches Oberthema, hilft nicht
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 64 %gleiches Oberthema, hilft nicht
    • d3-ultra 64 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 76 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 75 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 25 %Hintergrund, keine Belege
    • Luna 70 %Hintergrund, keine Belege
    • JEV 38 %Hintergrund, keine Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 28 %Hintergrund, keine Belege
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 28 %gleiches Oberthema, hilft nicht
    • Luna 55 %Hintergrund, keine Belege
    • JEV 42 %Hintergrund, keine Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 61 %gleiches Oberthema, hilft nicht
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 38 %gleiches Oberthema, hilft nicht
    • Luna 74 %Hintergrund, keine Belege
    • JEV 55 %gleiches Oberthema, hilft nicht
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra 70 %gleiches Oberthema, hilft nicht
  3. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 79 %Hintergrund, keine Belege
    • JEV 63 %gleiches Oberthema, hilft nicht
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 70 %Hintergrund, keine Belege
    • JEV 45 %gleiches Oberthema, hilft nicht
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 75 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 63 %Hintergrund, keine Belege
    • JEV 29 %nur am Rande erwähnt
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
  3. SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
    • clef 100 %kein Bezug
    • Luna 63 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 64 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
  1. SF-K1 Wie stellt man sicher und weist nach, dass Entscheidungen über den Einsatz von Gewalt, vor allem über Atomwaffen, beim Menschen bleiben?
    • clef 31 %gleiches Oberthema, hilft nicht
    • Luna 34 %Hintergrund, keine Belege
    • JEV 40 %nur am Rande erwähnt
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 54 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 70 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 66 %gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 25 %Hintergrund, keine Belege
    • Luna 59 %Hintergrund, keine Belege
    • JEV 30 %nur am Rande erwähnt
    • amos 27 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 34 %nur am Rande erwähnt
    • d3-ultra 65 %gleiches Oberthema, hilft nicht
  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 29 %Hintergrund, keine Belege
    • Luna 61 %Hintergrund, keine Belege
    • JEV 41 %umfangreiche Belege
    • amos 33 %einzelne zitierbare Belege
    • SubQ 29 %gleiches Oberthema, hilft nicht
    • drex 28 %Hintergrund, keine Belege
    • d3-ultra 49 %Hintergrund, keine Belege
  3. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 26 %Hintergrund, keine Belege
    • amos 32 %nur am Rande erwähnt
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 69 %gleiches Oberthema, hilft nicht
  4. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 37 %gleiches Oberthema, hilft nicht
    • Luna 75 %Hintergrund, keine Belege
    • JEV 36 %gleiches Oberthema, hilft nicht
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 73 %gleiches Oberthema, hilft nicht
    • drex 64 %gleiches Oberthema, hilft nicht
    • d3-ultra 65 %gleiches Oberthema, hilft nicht
  5. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 31 %gleiches Oberthema, hilft nicht
    • Luna 74 %Hintergrund, keine Belege
    • JEV 44 %Hintergrund, keine Belege
    • amos 38 %nur am Rande erwähnt
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 34 %nur am Rande erwähnt
    • d3-ultra 74 %gleiches Oberthema, hilft nicht
Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →