Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi16. März 2026 · Q001891

Measuring AI Agents’ Progress on Multi-Step Cyber Attack Scenarios

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Auszug berichtet von Tests mit sieben KI-Modellen in zwei mehrstufigen Cyberangriffsszenarien. Laut Abstract verbesserten sich die Leistungen mit höherem Rechenbudget und von Modellgeneration zu Modellgeneration, blieben beim Szenario für industrielle Steuerungssysteme jedoch gering; der Text enthält keine ausführlicheren Angaben zu den Grenzen der Untersuchung.

Mittel

Der bereitgestellte Quelltext ist ein Auszug mit Metadaten und Abstract, nicht der vollständige Bericht. Darin beschreiben die Forschenden Tests mit sieben KI-Modellen aus dem Zeitraum August 2024 bis Februar 2026 in zwei eigens entwickelten Szenarien: einem 32-stufigen Angriff auf ein Unternehmensnetzwerk und einem siebenstufigen Angriff auf ein industrielles Steuerungssystem. Die Modelle wurden mit unterschiedlichen Inferenzbudgets verglichen.

Laut Abstract nahm die Leistung mit mehr Rechenaufwand zu, ohne dass im untersuchten Bereich ein Plateau sichtbar wurde. Eine Erhöhung von 10 auf 100 Millionen Tokens brachte demnach bis zu 59 Prozent Verbesserung. Auch schnitten neuere Modellgenerationen bei gleichem Budget besser ab. Im Unternehmensszenario stieg der Durchschnitt bei 10 Millionen Tokens von 1,7 erledigten Schritten für GPT-4o auf 9,8 für Opus 4.6. Der beste Lauf schaffte 22 von 32 Schritten, ungefähr sechs der geschätzten 14 Stunden menschlicher Expertenarbeit. Beim Steuerungssystem blieben die Ergebnisse begrenzt: 1,2 bis 1,4 Schritte im Mittel, höchstens drei von sieben. Diese Befunde gelten für die beschriebenen Tests; der Auszug liefert keine weiteren Details zu den Grenzen der Untersuchung.

Ausführlich lesen

Der bereitgestellte Quelltext enthält Metadaten und den Abstract einer Untersuchung zu den Fähigkeiten aktueller KI-Modelle bei mehrstufigen Cyberangriffen. Es handelt sich nur um einen Auszug, nicht um den vollständigen Bericht.

Laut Abstract prüften die Forschenden sieben Modelle, die zwischen August 2024 und Februar 2026 veröffentlicht wurden. Dafür entwickelten sie zwei Cyber-Testumgebungen: ein Szenario mit 32 Schritten für Angriffe auf ein Unternehmensnetzwerk und eines mit sieben Schritten für ein industrielles Steuerungssystem. Die Aufgaben sollten verschiedene Fähigkeiten über längere Handlungsfolgen hinweg verbinden. Die Modelle wurden mit unterschiedlich großen Budgets für Rechenaufwand während der Inferenz verglichen.

Die Autorinnen und Autoren berichten zwei Trends. Erstens sei die Leistung mit steigendem Inferenzaufwand annähernd logarithmisch-linear gewachsen; im untersuchten Bereich sei kein Plateau beobachtet worden. Eine Erhöhung des Budgets von 10 auf 100 Millionen Tokens habe Verbesserungen von bis zu 59 Prozent ermöglicht. Laut Abstract sei dafür keine besondere technische Expertise der Bedienperson erforderlich gewesen. Zweitens habe jede neuere Modellgeneration ihre Vorgänger bei gleichem Tokenbudget übertroffen.

Im Unternehmensnetzwerk-Szenario stieg die durchschnittliche Zahl abgeschlossener Schritte bei einem Budget von 10 Millionen Tokens demnach von 1,7 für GPT-4o (August 2024) auf 9,8 für Opus 4.6 (Februar 2026). Der beste einzelne Durchlauf erreichte 22 von 32 Schritten. Die Forschenden setzen dies ins Verhältnis zu etwa sechs Stunden von geschätzten 14 Stunden, die eine menschliche Fachkraft für die Aufgabe benötigen würde.

Beim Angriff auf das industrielle Steuerungssystem blieb die Leistung laut Abstract begrenzt: Die jüngsten Modelle erledigten erstmals zuverlässig einzelne Schritte, im Mittel jedoch nur 1,2 bis 1,4 von sieben; das Maximum lag bei drei.

Die Aussagen beziehen sich auf die zwei eigens eingerichteten Testumgebungen und die genannten Modelle, Zeiträume und Rechenbudgets. Der Auszug enthält keine näheren Angaben zu Versuchsdetails oder weiteren Einschränkungen; weitergehende Schlüsse lassen sich daraus nicht belegen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
  1. SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 37 %gleiches Oberthema, hilft nicht
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 24 %umfangreiche Belege
    • Luna 54 %umfangreiche Belege
    • JEV 46 %umfangreiche Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 27 %einzelne zitierbare Belege
    • drex 28 %einzelne zitierbare Belege
    • d3-ultra offen

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 4 · 35 % · einzelne zitierbare Belege
    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 4 · 31 % · einzelne zitierbare Belege
    • SF-F1-T03 Auf welche einzelne Zahl zur offensiven Cyberfähigkeit eines Modells würden sich Regierungen einigen, um sie vor der Freigabe zu veröffentlichen, nicht erst danach? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 4 · 31 % · einzelne zitierbare Belege
    • SF-F1-T10 Was wäre nötig, damit eine staatliche Aufsichtsplattform für KI-Sicherheit und unabhängige Prüfer mit dauerhaftem Zugang im Labor nach einem gemeinsamen öffentlichen Protokoll dieselben Cyber-Tests in einer gemeinsamen Testumgebung durchführen, die Prüfer zweier Staaten jeweils am Modell des anderen, und die Ergebnisse in beiden veröffentlichen? Und könnten zwei Staaten eine gemeinsam bezeugte Prüfung desselben führenden KI-Modells durchführen und übereinstimmende Prüfsummen (Hashes) der Ergebnisse veröffentlichen? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 29 %einzelne zitierbare Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F2-T02 Wenn ein Staat fremde Modelle als Zeichen einer neuen Stufe nennt: Beruht das auf eigenen Messungen, die er so veröffentlichen könnte wie andere ihre Messungen? Und haben Labore vergleichbare Prüfungen fremder Modelle durchgeführt und sich entschieden, sie nicht zu veröffentlichen? Gefragt wurde das zu Minister Chen Yixins Nennung von Claude Mythos und GPT-5.5-Cyber als Zeichen der Phase „KI gegen KI“ bei Cyberangriff und -abwehr, nachdem die US-Prüfstelle CAISI Messungen von GLM-5.3 (17. September 2026) und, mit dem britischen AI Security Institute, von Kimi K3 (Juli 2026) veröffentlicht hatte, und zu Prüfungen von OpenAI und Anthropic an Modellen von DeepSeek, GLM, Qwen oder Kimi. Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
    • SF-F2-T03 Ein Minister beschreibt Risiken durch Spionage und Datenabfluss, etwa über quelloffene KI-Agentenwerkzeuge, und durch ein Ungleichgewicht in der technologischen Entwicklung, das Monopole und Technologiebeschränkungen verschärfen. Welche veröffentlichten Belege würden diese Risiken an der Fähigkeit eines Modells statt an seiner Herkunft festmachen? Luna: Stufe 4 · 33 % · einzelne zitierbare Belege
  3. SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
    • clef 28 %gleiches Oberthema, hilft nicht
    • Luna 90 %Hintergrund, keine Belege
    • JEV 47 %Hintergrund, keine Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F5-T02 Könnten Staaten gemeinsame rote Linien vereinbaren, die den Einsatz KI-verstärkter Cyberfähigkeiten gegen kritische zivile Infrastruktur strikt verbieten? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 32 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 23 %Hintergrund, keine Belege
    • Luna 32 %Hintergrund, keine Belege
    • JEV 27 %einzelne zitierbare Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 22 %einzelne zitierbare Belege
    • d3-ultra offen

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 30 %Hintergrund, keine Belege
    • Luna 39 %Hintergrund, keine Belege
    • JEV 39 %Hintergrund, keine Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-T1-T01 Welche messbaren, maschinell prüfbaren Fähigkeitsschwellen sollen Labore veröffentlichen, die vor dem Einsatz von Agentensystemen eine verpflichtende Pause und eine Prüfung von außen auslösen, abgestimmt über alle Labore hinweg? Wer führt das Register, und wo soll die Gesellschaft die verbindliche Sicherheitsgrenze für weitere Steigerungen der Fähigkeiten ziehen? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 4 · 25 % · einzelne zitierbare Belege
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 38 %gleiches Oberthema, hilft nicht
    • Luna 32 %Hintergrund, keine Belege
    • JEV 35 %gleiches Oberthema, hilft nicht
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 65 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 56 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 26 %Hintergrund, keine Belege
    • Luna 33 %Hintergrund, keine Belege
    • JEV 57 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 26 %Hintergrund, keine Belege
    • Luna 35 %Hintergrund, keine Belege
    • JEV 29 %Hintergrund, keine Belege
    • amos 24 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 32 %Hintergrund, keine Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 25 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %Hintergrund, keine Belege
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →