Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi26. Oktober 2025 · Q002561

Breaking agent backbones: Evaluating the security of backbone LLMs in AI agents

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Text ist nur der Abstract-Auszug einer Studie, die mit „threat snapshots“ Sicherheitsrisiken von LLM-Agenten untersuchen und dafür den Benchmark b³ mit 194.331 Angriffen auf 31 Modelle anwenden will. Laut Abstract verbesserten stärkere Schlussfolgerungsfähigkeiten die Sicherheit, während die Modellgröße nicht mit ihr korrelierte; konkrete Messwerte und Versuchsdetails fehlen.

Mittel

Der bereitgestellte Text enthält nur den Abstract-Auszug einer Studie zur Sicherheit von KI-Agenten, nicht das vollständige Paper. Die Autorinnen und Autoren sehen eine Forschungslücke darin, systematisch zu bestimmen, wie die Wahl des zugrunde liegenden Sprachmodells die Sicherheit eines Agenten beeinflusst. Agenten seien schwer zu modellieren, weil sie schrittweise und nicht deterministisch arbeiteten und KI-Komponenten mit traditioneller Software kombinierten.

Als Lösung führt die Studie „threat snapshots“ ein: Dabei werden bestimmte Ausführungszustände betrachtet, in denen LLM-Schwachstellen auftreten und sich auf den Agenten auswirken können. Auf dieser Grundlage sei der Benchmark b³ mit 194.331 crowdsourcten adversarialen Angriffen erstellt worden. Die Forschenden hätten damit 31 verbreitete LLMs evaluiert. Laut Abstract verbesserten stärkere Schlussfolgerungsfähigkeiten die Sicherheit; die Modellgröße habe dagegen nicht mit ihr korreliert. Benchmark, Datensatz und Evaluationscode sollen veröffentlicht werden. Konkrete Messwerte, untersuchte Modelle und weitere Versuchsdetails fehlen im vorliegenden Auszug.

Ausführlich lesen

Der bereitgestellte Text ist ein Auszug der Website mit dem Abstract einer Studie zur Sicherheit von KI-Agenten, die auf großen Sprachmodellen (LLMs) beruhen. Der vollständige Bericht beziehungsweise das vollständige Paper liegt hier nicht vor.

Die Autorinnen und Autoren beschreiben eine Forschungslücke: Obwohl LLM-Agenten zunehmend eingesetzt würden, sei noch nicht systematisch geklärt, wie stark die Wahl des zugrunde liegenden Sprachmodells die Sicherheit eines Agenten beeinflusst. Die Untersuchung werde dadurch erschwert, dass Agenten schrittweise und nicht immer gleich ablaufen. Zudem verbänden sie traditionelle Software mit KI-Komponenten, sodass sich neue Schwachstellen von LLMs mit herkömmlichen Sicherheitsrisiken vermischen könnten. Bestehende Ansätze erfassten laut Abstract entweder nur einzelne Arten von Schwachstellen oder verlangten, den gesamten Agenten zu modellieren.

Als Ansatz stellt die Studie sogenannte „threat snapshots“ vor. Damit würden gezielt bestimmte Zustände im Ausführungsablauf eines Agenten betrachtet, in denen Schwachstellen des Sprachmodells sichtbar werden können. Das Verfahren soll helfen, Sicherheitsrisiken systematisch zu erkennen und nachzuverfolgen, wie sie sich vom LLM auf den Agenten übertragen.

Mit diesem Rahmen hätten die Forschenden den Benchmark b³ aufgebaut. Laut Abstract beruht er auf 194.331 unterschiedlichen, per Crowdsourcing zusammengetragenen adversarialen Angriffen. Damit hätten sie 31 verbreitete LLMs untersucht. Als zentrale Ergebnisse nennen sie, dass stärkere Fähigkeiten zum Schlussfolgern die Sicherheit verbesserten und die Modellgröße nicht mit der Sicherheit korrelierte. Der Abstract kündigt außerdem an, dass Benchmark, Datensatz und Evaluationscode veröffentlicht würden, um weitere Nutzung durch Modellanbieter und Praktiker zu ermöglichen.

Die vorliegenden Angaben enthalten keine konkreten Messwerte, Modellnamen, Details zum Versuchsaufbau oder Erläuterungen dazu, wie „Sicherheit“ und „verbesserte Sicherheit“ im Einzelnen gemessen wurden. Die Ergebnisse sind daher hier nur als Aussagen des Abstracts wiedergegeben; ihre Reichweite und Einschränkungen lassen sich anhand dieses Auszugs nicht genauer beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
  1. SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 43 %gleiches Oberthema, hilft nicht
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 19 %Hintergrund, keine Belege
    • Luna 39 %umfangreiche Belege
    • JEV 47 %beantwortet teilweise oder widerspricht
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 31 %gleiches Oberthema, hilft nicht
    • drex 28 %einzelne zitierbare Belege
    • d3-ultra offen

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 4 · 44 % · einzelne zitierbare Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 26 %Hintergrund, keine Belege
    • JEV 23 %einzelne zitierbare Belege
    • amos 23 %Hintergrund, keine Belege
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F2-T02 Wenn ein Staat fremde Modelle als Zeichen einer neuen Stufe nennt: Beruht das auf eigenen Messungen, die er so veröffentlichen könnte wie andere ihre Messungen? Und haben Labore vergleichbare Prüfungen fremder Modelle durchgeführt und sich entschieden, sie nicht zu veröffentlichen? Gefragt wurde das zu Minister Chen Yixins Nennung von Claude Mythos und GPT-5.5-Cyber als Zeichen der Phase „KI gegen KI“ bei Cyberangriff und -abwehr, nachdem die US-Prüfstelle CAISI Messungen von GLM-5.3 (17. September 2026) und, mit dem britischen AI Security Institute, von Kimi K3 (Juli 2026) veröffentlicht hatte, und zu Prüfungen von OpenAI und Anthropic an Modellen von DeepSeek, GLM, Qwen oder Kimi. Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
    • SF-F2-T03 Ein Minister beschreibt Risiken durch Spionage und Datenabfluss, etwa über quelloffene KI-Agentenwerkzeuge, und durch ein Ungleichgewicht in der technologischen Entwicklung, das Monopole und Technologiebeschränkungen verschärfen. Welche veröffentlichten Belege würden diese Risiken an der Fähigkeit eines Modells statt an seiner Herkunft festmachen? Luna: Stufe 4 · 36 % · einzelne zitierbare Belege
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 23 %gleiches Oberthema, hilft nicht
    • Luna 45 %Hintergrund, keine Belege
    • JEV 22 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 22 %einzelne zitierbare Belege
    • d3-ultra offen

    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 26 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 26 % · Hintergrund, keine Belege
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 23 %gleiches Oberthema, hilft nicht
    • Luna 47 %einzelne zitierbare Belege
    • JEV 45 %umfangreiche Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 26 %gleiches Oberthema, hilft nicht
    • Luna 37 %Hintergrund, keine Belege
    • JEV 44 %gleiches Oberthema, hilft nicht
    • amos 24 %nur am Rande erwähnt
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  2. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 30 %gleiches Oberthema, hilft nicht
    • Luna 100 %kein Bezug
    • JEV 50 %gleiches Oberthema, hilft nicht
    • amos 25 %Hintergrund, keine Belege
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-H2-T01 Was unterscheidet das Veröffentlichen von Modellgewichten (den gelernten Parametern) oder von Agentenwerkzeugen mit offenem Quellcode vom Freisetzen einer Waffe: die Absicht des Akteurs, die Selbstständigkeit des Modells, seine Verwendung oder der Schaden, den es von sich aus anrichten kann? Und können Staaten diese Grenze gemeinsam festschreiben, bevor ein offenes Modell im Mittelpunkt eines schweren Vorfalls steht? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →