Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi18. Juni 2026 · Q001478

Releasing AISI’s Engineering Playbook

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Kurz

AISI veröffentlicht einen offenen Leitfaden für die Infrastruktur zur Bewertung leistungsfähiger KI-Modelle. Er beschreibt fünf Ebenen – von reproduzierbaren Tests und sicherer Ausführung bis zu Rechenressourcen und skalierter Inferenz – und baut auf dem Werkzeug Inspect auf. Laut Bericht nutzen verschiedene Organisationen Inspect; das Playbook sei jedoch eine fortzuschreibende Momentaufnahme und kein fertiges Produkt.

Mittel

Der Bericht stellt das AISI Engineering Playbook vor, einen offenen Leitfaden zum Aufbau von Infrastruktur für die Bewertung leistungsfähiger KI-Modelle. Er baut auf Inspect auf, einem Werkzeug für strukturierte, wiederholbare Tests und messbare Modellvergleiche. Inspect Evals ergänzt es laut Bericht um mehr als 200 vorgefertigte Prüfungen.

AISI gliedert Evaluationsinfrastruktur in fünf Ebenen: **Evaluate** für Tests, **Isolate** für sichere Ausführung, **Connect** für kontrollierte Verbindungen zu Modellanbietern, **Run** für Arbeitsumgebung und Rechenressourcen sowie **Scale** für Inferenz mit großen Modellen. Einzelne Komponenten können separat genutzt werden. Der Leitfaden enthält technische Erklärungen und verweist auf quelloffenen Code, soweit verfügbar.

Als Beispiele für die Nutzung von Inspect nennt der Bericht METR, Apollo Research und weitere staatliche Einrichtungen; außerdem hätten mehr als 240 Personen zu inspect_ai beigetragen. AISI zufolge soll das Playbook den Aufbau eigener Evaluationsmöglichkeiten erleichtern. Es richtet sich an Forschende und Organisationen. Die Veröffentlichung sei jedoch nur eine Momentaufnahme, kein fertiges Produkt, und werde mit der Weiterentwicklung der Methoden und Werkzeuge aktualisiert. Die genannten Erfolge und Nutzenversprechen gibt der Bericht wieder; eine unabhängige Prüfung bietet er nicht.

Ausführlich lesen

Der Bericht kündigt die Veröffentlichung des AISI Engineering Playbook an, eines offenen Leitfadens zu Methoden und Infrastruktur für die Bewertung leistungsfähiger KI-Modelle. Er knüpft an Inspect an: Das 2024 quelloffen bereitgestellte Werkzeug ermöglicht strukturierte, mehrstufige und wiederholbare Tests, deren Ergebnisse messbar gemacht und zwischen Modellen verglichen werden können. Dazu gehören detaillierte Protokolle, Kennzahlen und Berichte. Die ergänzende Sammlung Inspect Evals umfasst laut Bericht mehr als 200 vorgefertigte Prüfungen zu Bereichen wie Programmierung, agentischen Aufgaben, Schlussfolgern, Wissen, Verhalten und multimodalem Verständnis.

AISI zufolge reicht ein Testwerkzeug allein nicht aus, um Modelle in größerem Maßstab fundiert zu evaluieren. Dazu brauche es unter anderem eine sichere Umgebung für nicht vertrauenswürdigen Code, eine kontrollierbare und prüfbare Verbindung zu Modellanbietern, Rechenressourcen sowie passende Arbeitsabläufe. Solche Infrastruktur sei oft wenig sichtbar und werde von Teams häufig eigenständig entwickelt. Durch die Veröffentlichung von Inspect und – soweit möglich – der eigenen Methoden und Infrastruktur wolle AISI anderen den Aufbau belastbarer Evaluationsmöglichkeiten erleichtern.

Der Leitfaden ordnet diese Fähigkeiten in fünf Ebenen: **Evaluate** umfasst das reproduzierbare Testen und den Vergleich von Modellen, auch bei agentischen Aufgaben. **Isolate** behandelt die sichere Ausführung und eine dem jeweiligen Risiko angemessene Abschottung. **Connect** vermittelt zwischen Forschungsteams und Modellanbietern und soll Prüf- und Kostenkontrolle ermöglichen, ohne die Forschung auszubremsen. **Run** beschreibt die Arbeitsplattform mit Maschine, Daten, Rechenleistung und Weg zur bereitgestellten Anwendung. **Scale** soll Inferenz auf Supercomputermaßstab für das Hosting und die Erforschung großer Modelle mit offenen Gewichten zugänglich machen. Die Ebenen können einzeln genutzt werden, bilden zusammen aber eine vollständige Plattform. Der Playbook enthält technische Einführungen, vertiefende Abschnitte und Verweise auf quelloffenen Code, soweit dieser vorhanden ist.

Zur Nutzung von Inspect nennt der Bericht mehrere Beispiele: METR sei von der eigenen Vivaria-Plattform zu Inspect gewechselt und führe damit Zeithorizont-Evaluationen mit 228 Aufgaben durch; Ergebnisse würden im International AI Safety Report 2026 zitiert. Apollo Research habe nach einem dreimonatigen Test das interne Framework aufgegeben und begründe dies unter anderem mit Funktionen wie sicheren Agenten-Sandboxes und Werkzeugen zur Interpretierbarkeit. Außerdem hätten weitere staatliche Einrichtungen Inspect und das Sandboxing-Toolkit übernommen. Die Inspect-Community sei seit der Veröffentlichung gewachsen; allein zum Projekt inspect_ai hätten mehr als 240 Personen beigetragen. Dies sind Angaben des Berichts.

AISI richtet das Playbook an einzelne Forschende ebenso wie an Organisationen, die Evaluationsinfrastruktur von Grund auf einrichten. Komponenten ließen sich einzeln übernehmen; die fünf Ebenen könnten auch als Referenzarchitektur dienen, und die offene Software könne erweitert werden. Als wesentliche Einschränkung bezeichnet AISI die Veröffentlichung ausdrücklich als Momentaufnahme der heutigen Evaluationspraxis, nicht als fertiges Produkt. Der Leitfaden solle weiterentwickelt werden, wenn sich Methoden, Werkzeuge und Infrastruktur verändern. Der Bericht beschreibt somit AISI’s Ansatz und dessen erwarteten Nutzen, liefert aber keine unabhängige Bewertung der Wirksamkeit des Playbooks.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna hat alle drei Sammelfragen und alle Teilfragen mit Stufe 4 bewertet; nach dem Bericht passt das bei den meisten Fragen nicht, weil der Bericht nur Teilaspekte wie Reproduzierbarkeit, Sandboxing und Transparenz der Methoden belegt und Cyber, Freigabe, Zugang und Vertrauensbelege nicht behandelt. Die Anteilswerte in Lunas Einordnung lassen sich aus dem Bericht nicht prüfen und sind hier nicht übernommen.

Im Bericht, aber nicht in der Zusammenfassung

  • Inspect wurde im Mai 2024 als Open-Source-Werkzeug veröffentlicht
  • METR hat von seiner eigenen Plattform auf Inspect umgestellt und führt Zeithorizont-Evaluationen mit 228 Aufgaben durch, die im International AI Safety Report 2026 zitiert werden
  • Apollo Research hat sein internes Framework nach einer dreimonatigen Testphase durch Inspect ersetzt und baut neue Evaluationen darauf auf
  • Der Bericht nennt Inspect Evals als Sammlung von über 200 vorgefertigten Benchmarks in Bereichen wie Coding, agentische Aufgaben, Reasoning und multimodales Verständnis
  • Die Playbook-Ebenen sollen Forschenden und Organisationen ermöglichen, eine Evaluationsfähigkeit ohne Neuanfang aufzubauen

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 24 %gleiches Oberthema, hilft nicht
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 27 %Hintergrund, keine Belege
    • Luna 60 %einzelne zitierbare Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 37 %einzelne zitierbare Belege
    • drex 27 %umfangreiche Belege
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 4 · 37 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
    • SF-F1-T09 Wem gehört eine gemeinsam gebaute Testsammlung, wer darf sie an wessen Modellen erneut laufen lassen, darf ein Beteiligter seine Aufgaben zurückziehen, nachdem Ergebnisse veröffentlicht sind, und was wird dann aus der Vergleichbarkeit? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-F1-T10 Was wäre nötig, damit eine staatliche Aufsichtsplattform für KI-Sicherheit und unabhängige Prüfer mit dauerhaftem Zugang im Labor nach einem gemeinsamen öffentlichen Protokoll dieselben Cyber-Tests in einer gemeinsamen Testumgebung durchführen, die Prüfer zweier Staaten jeweils am Modell des anderen, und die Ergebnisse in beiden veröffentlichen? Und könnten zwei Staaten eine gemeinsam bezeugte Prüfung desselben führenden KI-Modells durchführen und übereinstimmende Prüfsummen (Hashes) der Ergebnisse veröffentlichen? Luna: Stufe 3 · 46 % · Hintergrund, keine Belege
    • SF-F1-T11 Werden Ministerien eine Behauptung über Fähigkeiten nur anerkennen, wenn ein anderer Staat denselben Test wiederholen kann, und können sie sich auf unabhängige Prüfer und einen sicheren Zugang einigen, um strittige Befunde nachzustellen? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 33 %Hintergrund, keine Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 28 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  3. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

  4. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 25 %Hintergrund, keine Belege
    • Luna 29 %Hintergrund, keine Belege
    • JEV 40 %gleiches Oberthema, hilft nicht
    • amos 29 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 25 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F4-T06 Wenn ein Prüfrahmen davon ausgeht, dass der Entwickler ein kommerzielles Frontier-Labor ist: Was gilt für ein Modell, das in einem Militärkommando, einem Geheimdienst oder bei einem Cloud-Anbieter entwickelt wird, der nach keiner bisher verwendeten Bezeichnung ein „Labor“ ist, und wer ist dann das Gegenüber für die Prüfung? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 32 %Hintergrund, keine Belege
    • Luna 48 %Hintergrund, keine Belege
    • JEV 40 %Hintergrund, keine Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-P1-T03 Wenn eine Sicherheitsvereinbarung verlangt, Prüfergebnisse, Angaben aus Modellsteckbriefen oder die Forensik von Vorfällen zwischen den Partnern zu teilen: Welches kleinste Datenfeld müsste jeder Partner sehen, um dem Bericht eines anderen zu trauen, und auf welches größte würde er verzichten? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 25 %Hintergrund, keine Belege
    • Luna 66 %Hintergrund, keine Belege
    • JEV 34 %Hintergrund, keine Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-P2-T01 Wer wählt die Prüfer aus, wer bezahlt sie, wer darf sie entlassen, und wird dieser Vertrag vor dem ersten Befund veröffentlicht? Welchen Mindestvertrag, der ihre Unabhängigkeit wahrt, könnten Labore jetzt unterschreiben, ohne auf ein Gesetz zu warten, einschließlich der Frage, wie Berichte veröffentlicht werden? Und wie bleiben die Prüfer unabhängig, wenn Geld oder Infrastruktur vom geprüften Labor kommen? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
    • SF-P2-T02 Bevor eine Prüfvereinbarung zwischen Staaten auf eingebetteten Prüfungen aufbaut, also auf unabhängigen Prüfern mit dauerhaftem, mitarbeiterähnlichem Zugang in KI-Firmen: Sagen die Labore jeweils zu, dass keine eingebettete Prüfung, die das geprüfte Labor selbst bezahlt, in diesem Zusammenhang als Beleg dient? Und behandeln die Regierungen eine vom Labor bezahlte Prüfung für sich genommen als unzureichend für Tests von Modellen auf akute Risiken vor der Veröffentlichung, damit die ersten Berichte nicht stillschweigend einen Präzedenzfall setzen? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
    • SF-P2-T03 Welchen Zugang bekommen die Prüfer: laufend und nur lesend zu den Trainingsabläufen, nicht nur zu einzelnen Zwischenständen, ohne neue Wege für Datenabfluss? Welchen gemeinsamen Mindeststandard für den Zugang gewähren die Labore, damit Berichte branchenweit vergleichbar sind, wer entwirft ihn, und was wäre nötig, damit ein Prüferteam zugleich in zwei konkurrierenden Laboren arbeitet? Welchen kontrollierten Zugang zu Denkspuren (den schrittweisen Überlegungen eines Modells) bekommen sie, und was dürfen sie daraus veröffentlichen, ohne unerlaubte Destillation zu ermöglichen, also das Trainieren eines anderen Modells mit diesen Spuren? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 24 %Hintergrund, keine Belege
    • Luna 42 %einzelne zitierbare Belege
    • JEV 51 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 37 %einzelne zitierbare Belege
    • drex 33 %einzelne zitierbare Belege
    • d3-ultra offen

    • SF-P3-T01 Welcher gemeinsame Rahmen für Labore macht Selbstüberwachung überprüfbar, ohne geschütztes geistiges Eigentum offenzulegen, und welche unabhängigen Verfahren Dritter, falls es sie gibt, bestätigen, dass die Selbstüberwachung riskantes Verhalten vor der Freigabe wirklich findet und nicht nur Schein ist? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege
    • SF-P3-T04 Wer prüft die KI-Modelle, die andere Modelle prüfen, auf Anweisungen, Versionen und Fehlerfälle, und welche unabhängige Prüfung zeigt, dass das geprüfte Modell sie nicht manipulieren kann, besonders wenn sie aus derselben Modellfamilie stammen? Und wenn gemeinsame Tests, Schweregrade und die Ersteinstufung von Meldungen von Sprachmodellen entworfen, durchgeführt und zusammengefasst werden: Nimmt jeder Staat einen Prüfmechanismus an, dessen Kernbausteine aus ausländischen Laboren stammen? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
    • SF-P3-T05 Welches Mindestpaket (Datenverzeichnisse, Code, Zufallsstartwerte, Abbilder der Rechenumgebung, Prüferversionen, Fehlerprotokolle und Annahmen über die Hardware) muss ein Labor sichern oder kontrolliert hinterlegen, damit ein Prüfer ein sicherheitskritisches Trainings- oder Prüfergebnis auch nach Ende seines Zugangs nachrechnen kann, und welche Geheimnisse bleiben unzugänglich? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-P3-T06 Wenn getrennte Sicherheitsprüfungen Repositorien, Zwischenspeicher oder andere beschreibbare Dienste teilen: Wie zeigt man, dass Modellinstanzen zwischen den Läufen keine Informationen austauschen und dadurch das gemeldete Ergebnis ungültig machen können? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 4 · 35 % · einzelne zitierbare Belege
    • SF-P3-T11 Welche Arten von Prüfungen (etwa Ausbruch aus der abgeschirmten Testumgebung, selbstständige Vervielfältigung eines Modells oder die Synthese biologischer Stoffe) sind zu gefährlich, als dass ein einzelnes Labor sie ohne vereinbarten Standard zur Abschirmung und ohne gemeinsamen Nachweis darüber, dass sie stattfanden, durchführen sollte, und wer führt diese Liste? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
  4. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 31 %Hintergrund, keine Belege
    • Luna 55 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 28 %nur am Rande erwähnt
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 30 %Hintergrund, keine Belege
    • Luna 31 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 63 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-T3-T05 Wenn Selbstverbesserung schneller voranschreitet als der Beobachtungstakt fortlaufender Prüfer: Wie kurz muss dieser Takt sein, und wer darf zwischen zwei Beobachtungen eine Pause durchsetzen: der Prüfer, das Labor oder eine Stelle von außen? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 33 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 27 %Hintergrund, keine Belege
    • d3-ultra offen

    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 4 · 42 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege
    • SF-V1-T09 Wenn Labore bessere Überwacher bauen, Modelle lernen, ihnen auszuweichen, und sich dieses Wechselspiel in jedem Labor beschleunigt: Behandeln Regierungen diesen Wettlauf selbst als Sicherheitsfrage zwischen Staaten, und welche gemeinsamen Belege würden zeigen, dass er beherrscht ist? Luna: Stufe 3 · 50 % · Hintergrund, keine Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 29 %Hintergrund, keine Belege
    • Luna 63 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 31 %Hintergrund, keine Belege
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege
    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 21 %Hintergrund, keine Belege
    • Luna 49 %einzelne zitierbare Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 30 %Hintergrund, keine Belege
    • d3-ultra offen

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 45 %Hintergrund, keine Belege
    • amos 31 %nur am Rande erwähnt
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-A1-T05 Werden Agententests Aufgaben enthalten, in denen die Pflicht, Belege zu zitieren, dazu drängt, eine lokale Datei zu veröffentlichen, und welche Regel hindert einen Agenten daran, private Quellen ohne Erlaubnis des Nutzers unter einer öffentlichen Internetadresse zugänglich zu machen? Luna: Stufe 3 · 24 % · Hintergrund, keine Belege
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 25 %Hintergrund, keine Belege
    • Luna 46 %Hintergrund, keine Belege
    • JEV 41 %nur am Rande erwähnt
    • amos 31 %nur am Rande erwähnt
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-A2-T01 Welche Tests zeigen, dass ein Agent sicher angehalten, zurückgesetzt oder abgeschottet werden kann, wenn er sich unerwartet verhält, auch wenn er das Abschalten vorhersieht oder sich wehrt? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
  3. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 64 %Hintergrund, keine Belege
    • JEV 30 %Hintergrund, keine Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-A3-T01 Welche Beobachtungen oder gemeinsamen Tests erkennen entstehende Abstimmung, Absprachen oder Kettenfehler zwischen Modellen in Arbeitsabläufen, Lieferketten und Gruppen vieler Agenten (Schwärmen), die kein einzelnes Labor steuert oder vorhersieht? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 25 %Hintergrund, keine Belege
    • Luna 29 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-H2-T01 Was unterscheidet das Veröffentlichen von Modellgewichten (den gelernten Parametern) oder von Agentenwerkzeugen mit offenem Quellcode vom Freisetzen einer Waffe: die Absicht des Akteurs, die Selbstständigkeit des Modells, seine Verwendung oder der Schaden, den es von sich aus anrichten kann? Und können Staaten diese Grenze gemeinsam festschreiben, bevor ein offenes Modell im Mittelpunkt eines schweren Vorfalls steht? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 23 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
    • clef 100 %kein Bezug
    • Luna 60 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 55 %einzelne zitierbare Belege
    • JEV 27 %einzelne zitierbare Belege
    • amos 25 %nur am Rande erwähnt
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 27 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 36 %gleiches Oberthema, hilft nicht
    • amos 30 %nur am Rande erwähnt
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-E1-T09 Bekommen zivile Forschende an Hochschulen und unabhängige Organisationen der Zivilgesellschaft geregelten Zugang zu Modellen, Daten und Befunden der Prüfer, oder bleibt die Prüfung bei staatlich bestellten Stellen? Luna: Stufe 4 · 49 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
  2. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 26 %Hintergrund, keine Belege
    • Luna 69 %einzelne zitierbare Belege
    • JEV 47 %einzelne zitierbare Belege
    • amos 29 %einzelne zitierbare Belege
    • SubQ 29 %gleiches Oberthema, hilft nicht
    • drex 32 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege
  3. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 54 %einzelne zitierbare Belege
    • JEV 46 %einzelne zitierbare Belege
    • amos 26 %nur am Rande erwähnt
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-E4-T03 Wie können gemeinsame Sicherheitsregeln verhindern, dass hohe Kosten der Einhaltung den Markt auf wenige reiche Labore verengen, und trotzdem kleine Entwickler und Open-Source-Entwickler auf dieselbe Mindestschwelle für Sicherheit verpflichten? Luna: Stufe 3 · 44 % · Hintergrund, keine Belege
  4. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →