Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi26. Juni 2025 · Q002446

Inspect Cyber: A New Standard for Agentic Cyber Evaluations

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Das AISI veröffentlicht Inspect Cyber, ein auf Inspect aufbauendes Open-Source-Paket, das den Aufbau und die Durchführung agentenbasierter Cybersecurity-Evaluationen standardisieren soll. Nach Angaben des Instituts spart es wiederkehrende Einrichtungsarbeit und unterstützt unter anderem Testvarianten und Reproduzierbarkeit; die positiven Erfahrungen stammen aus interner Nutzung, und der Bericht merkt an, dass noch nicht alle Arbeitsabläufe abgedeckt sein könnten.

Mittel

Das britische AI Security Institute (AISI) stellt Inspect Cyber vor, ein quelloffenes Python-Paket, das agentenbasierte Cybersecurity-Evaluationen vereinheitlichen soll. Solche Tests prüfen, ob KI-Agenten Sicherheitsziele in unterschiedlichen Umgebungen selbstständig bearbeiten können. Laut Bericht müssen Teams bislang für neue Benchmarks wiederholt Sandbox-Infrastruktur, Modellanbindungen und Skripte aufbauen. Das koste Zeit, erschwere die Zusammenarbeit und mache Ergebnisse weniger reproduzierbar.

Inspect Cyber baut auf der Plattform Inspect auf und beschreibt Evaluation und Infrastruktur mit zwei Konfigurationsdateien. Es soll Varianten eines Tests erleichtern, etwa mit anderen Agentenaufforderungen, die Lösbarkeit von Aufgaben prüfen und eine gut lesbare Projektstruktur unterstützen. Über Inspect stehen laut AISI außerdem Unterstützung für verschiedene Modelle, eigene Agenten, Bewertung, Sandboxes und menschliche Aufsicht zur Verfügung.

Das Institut berichtet von mehreren Monaten interner Nutzung, von Capture-the-Flag-Aufgaben bis zu komplex simulierten Netzwerken, und bewertet das Paket als robust und einfach zu verwenden. Diese Einschätzung stammt vom Entwickler; unabhängige oder quantitative Belege nennt der Beitrag nicht. Das AISI räumt ein, dass noch nicht alle Arbeitsabläufe abgedeckt sein könnten, und lädt zur Mitarbeit an der Open-Source-Version ein.

Ausführlich lesen

Der Bericht kündigt Inspect Cyber an, ein quelloffenes Python-Paket des britischen AI Security Institute (AISI) zur Vereinheitlichung und Vereinfachung von agentenbasierten Cybersecurity-Evaluationen. Gemeint sind Tests, bei denen KI-Agenten in unterschiedlichen Umgebungen selbstständig Sicherheitsziele bearbeiten. Als Begründung nennt das AISI die wachsenden Fähigkeiten von KI im Cyberbereich: Sie könnten sowohl zur Abwehr von Bedrohungen als auch zur Entwicklung oder Ausführung solcher Bedrohungen eingesetzt werden. Deshalb seien realistische, rigorose und reproduzierbare Prüfungen zunehmend wichtig.

Nach Darstellung des Berichts ist der bisherige Aufbau solcher Evaluationen unnötig aufwendig. Für neue Benchmarks müssten Teams wiederholt ähnliche Grundlagen erstellen, darunter abgeschottete Testumgebungen, Modellanbindungen und Ausführungsskripte. Das binde Entwicklungszeit, erschwere die Zusammenarbeit wegen unterschiedlicher Umsetzungen und mache Ergebnisse schwieriger nachzuvollziehen und zu überprüfen. Inspect Cyber soll diese wiederkehrenden Arbeiten standardisieren, damit Forschende sich stärker auf die eigentlichen Testumgebungen konzentrieren können.

Das Paket baut auf der Evaluationsplattform Inspect auf. Laut AISI lässt sich eine Evaluation mit zwei Konfigurationsdateien beschreiben: eine für den Test und eine für die benötigte Infrastruktur. Forschende können Varianten einer Evaluation erstellen, etwa mit anderen Agentenaufforderungen oder verfügbaren Fähigkeiten. Das Werkzeug soll außerdem bewährte Vorgehensweisen unterstützen, darunter eine Prüfung, ob eine Aufgabe überhaupt lösbar ist, sowie eine übersichtliche Projektstruktur fördern. Durch die Grundlage Inspect stehen nach Angaben des Berichts zudem Funktionen für verschiedene Modelle, eigene Agenten und Bewertungsverfahren, Sandbox-Umgebungen sowie Richtlinien für menschliche Aufsicht oder Vergleichswerte zur Verfügung.

Als bisherige Erfahrung berichtet das AISI, Inspect Cyber mehrere Monate intern in unterschiedlichen Szenarien verwendet zu haben. Dazu gehörten einfache Capture-the-Flag-Aufgaben und zunehmend komplexe Cyberranges, die Active-Directory-Dienste, Unternehmensnetze und kritische nationale Infrastruktur simulieren. Das Institut beschreibt die Nutzung als unkompliziert, robust und leistungsfähig. Diese Einschätzung ist eine Selbstauskunft des Entwicklers; der Bericht nennt keine unabhängige Prüfung, quantitativen Vergleichswerte oder detaillierten Evaluationsergebnisse.

Das AISI räumt ein, dass das Paket möglicherweise noch nicht alle Arbeitsabläufe abdeckt. Die Veröffentlichung als Open Source soll deshalb Rückmeldungen und Beiträge der Community ermöglichen. Der Bericht verweist auf Dokumentation und Beispiele für Capture-the-Flag- und Cyberrange-Evaluationen und lädt dazu ein, Verbesserungsvorschläge oder Fehler über das GitHub-Projekt einzureichen. Insgesamt stellt der Beitrag Inspect Cyber als Infrastruktur zur Senkung des Aufwands und zur besseren Vergleichbarkeit agentenbasierter Cybertests vor; wie umfassend diese Ziele in verschiedenen Forschungsteams erreicht werden, bleibt im Bericht offen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurde die mittlere Fassung von Luna, die den Bericht überwiegend treu wiedergibt. Die kurze Fassung ist ebenfalls weitgehend korrekt, nennt aber Reproduzierbarkeit als Funktion des Pakets, obwohl der Bericht sie nur als Problem der bisherigen Praxis beschreibt, und lässt Open Source und Python aus.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Ausgangslage, dass KI-Systeme im Cyberbereich sowohl der Abwehr dienen als auch zum Erstellen von Bedrohungen missbraucht werden können und deshalb strengere Evaluationen nötig sind.
  • Die Aussage, dass die Einrichtung wiederkehrender Setup-Arbeit Entwicklungszeit kostet und Forschungsfortschritt bremst, wird nur knapp wiedergegeben.

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Der volle Name 'AI Security Institute' steht nicht im Bericht; dort heißt es nur 'AISI' bzw. 'wir' (Domain aisi.gov.uk).

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 27 %beantwortet teilweise oder widerspricht
    • Luna 39 %einzelne zitierbare Belege
    • JEV 40 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 37 %beantwortet direkt und ausführlich
    • drex 28 %umfangreiche Belege
    • d3-ultra offen
    • Haiku-Prüfung beantwortet teilweise oder widerspricht

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 4 · 42 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 6 · beantwortet teilweise oder widerspricht
    • SF-F1-T10 Was wäre nötig, damit eine staatliche Aufsichtsplattform für KI-Sicherheit und unabhängige Prüfer mit dauerhaftem Zugang im Labor nach einem gemeinsamen öffentlichen Protokoll dieselben Cyber-Tests in einer gemeinsamen Testumgebung durchführen, die Prüfer zweier Staaten jeweils am Modell des anderen, und die Ergebnisse in beiden veröffentlichen? Und könnten zwei Staaten eine gemeinsam bezeugte Prüfung desselben führenden KI-Modells durchführen und übereinstimmende Prüfsummen (Hashes) der Ergebnisse veröffentlichen? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 24 %Hintergrund, keine Belege
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 30 %gleiches Oberthema, hilft nicht
    • Luna 30 %Hintergrund, keine Belege
    • JEV 42 %gleiches Oberthema, hilft nicht
    • amos 30 %nur am Rande erwähnt
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  4. SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
    • clef 31 %gleiches Oberthema, hilft nicht
    • Luna 32 %Hintergrund, keine Belege
    • JEV 43 %gleiches Oberthema, hilft nicht
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %gleiches Oberthema, hilft nicht
    • Luna 78 %einzelne zitierbare Belege
    • JEV 42 %einzelne zitierbare Belege
    • amos 32 %Hintergrund, keine Belege
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 26 %Hintergrund, keine Belege
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 76 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 54 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 69 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 23 %gleiches Oberthema, hilft nicht
    • Luna 41 %Hintergrund, keine Belege
    • JEV 36 %Hintergrund, keine Belege
    • amos 26 %nur am Rande erwähnt
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 29 %gleiches Oberthema, hilft nicht
    • Luna 35 %Hintergrund, keine Belege
    • JEV 39 %Hintergrund, keine Belege
    • amos 29 %nur am Rande erwähnt
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 26 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 76 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 63 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 24 %Hintergrund, keine Belege
    • Luna 65 %einzelne zitierbare Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  3. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 42 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →