Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi18. Juli 2025 · Q002738

STACK: Adversarial attacks on LLM safeguard pipelines

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Auszug besteht im Wesentlichen nur aus dem Abstract: Darin berichten die Autoren, ein neuer Klassifikator habe auf ClearHarm Angriffe abgewehrt, während STACK in Tests 71 Prozent und ohne Zugriff auf die Zielpipeline 33 Prozent Angriffserfolg erzielt habe. Details zu den Versuchen und den erwähnten Gegenmaßnahmen fehlen im Auszug.

Mittel

Der bereitgestellte Text umfasst im Wesentlichen nur den Abstract, nicht den vollständigen Bericht. Die Autoren untersuchen die Sicherheit mehrschichtiger Schutzpipelines für KI-Systeme und beschreiben eine quelloffene Pipeline. Ein neuartiger, mit wenigen Beispielen im Prompt gesteuerter Ein- und Ausgabeklassifikator habe ShieldGemma in Tests mit drei Angriffen und zwei Datensätzen übertroffen und auf ClearHarm eine Angriffserfolgsrate von null Prozent erzielt.

Zugleich stellen die Autoren STACK vor, ein mehrstufiges Angriffsverfahren. Es habe in einem Black-Box-Test gegen diese Pipeline auf ClearHarm 71 Prozent Angriffserfolg erreicht. Bei einem Übertragungstest ohne Zugriff auf die Zielpipeline seien es 33 Prozent gewesen. Die Autoren sehen darin einen ersten Hinweis, dass sich Angriffe auch ohne Kenntnis der Zielpipeline entwickeln lassen. Der Auszug nennt vorgeschlagene Gegenmaßnahmen nur allgemein und enthält keine Details zu Versuchsaufbau, Unsicherheiten oder den Maßnahmen. Die Ergebnisse beziehen sich daher auf die berichteten Versuche.

Ausführlich lesen

Der bereitgestellte Text enthält im Wesentlichen nur den Abstract des Berichts „STACK: Adversarial attacks on LLM safeguard pipelines“; der vollständige Bericht liegt hier nicht vor. Die Zusammenfassung kann daher nur die dort genannten Aussagen wiedergeben.

Der Abstract beschreibt mehrschichtige Schutzsysteme, mit denen Anbieter fortgeschrittener KI-Modelle den Missbrauch ihrer Systeme verhindern wollen. Die Autoren erklären, dass die Sicherheit solcher Schutzpipelines bislang nur begrenzt untersucht worden sei. Um diese Lücke zu bearbeiten, entwickelten und prüften sie eine quelloffene Schutzpipeline.

Laut Abstract übertraf ein neuartiger Klassifikator, der mit wenigen Beispielen im Prompt gesteuert wird und sowohl Eingaben als auch Ausgaben prüft, das offene Schutzmodell ShieldGemma. Der Vergleich umfasste drei Angriffe und zwei Datensätze. Auf dem Datensatz ClearHarm, der katastrophalen Missbrauch abbilden soll, habe der Klassifikator die Angriffserfolgsrate auf null Prozent gesenkt.

Die Autoren stellen außerdem STACK vor, ein mehrstufiges Angriffsverfahren. In einem Black-Box-Angriff gegen die beschriebene Klassifikator-Pipeline erreichte STACK laut Abstract auf ClearHarm eine Angriffserfolgsrate von 71 Prozent. In einer Übertragungsprüfung, bei der der Angriff ohne Zugriff auf die Zielpipeline entworfen wurde, erreichte das Verfahren 33 Prozent. Die Autoren werten dies als ersten Hinweis darauf, dass Angriffe ohne Kenntnis der Zielpipeline möglich sein könnten.

Als Grenzen sind im bereitgestellten Auszug vor allem der vorläufige Charakter der Übertragungsbefunde und die beschränkte Informationslage erkennbar: Es fehlen Einzelheiten zu Datensätzen, Versuchsaufbau, Angriffen, Unsicherheiten und vorgeschlagenen Gegenmaßnahmen. Der Abstract sagt lediglich, dass konkrete Schutzmaßnahmen gegen gestufte Angriffe vorgeschlagen werden; welche das sind, ist im Auszug nicht enthalten. Die genannten Erfolgsraten sind daher als Aussagen der Autoren über ihre beschriebenen Versuche zu verstehen, nicht als allgemeine Aussagen über alle Schutzpipelines.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 20 %Hintergrund, keine Belege
    • Luna 35 %einzelne zitierbare Belege
    • JEV offen
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 25 %Hintergrund, keine Belege
    • JEV offen
    • amos 28 %nur am Rande erwähnt
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV offen
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %gleiches Oberthema, hilft nicht
    • Luna 61 %Hintergrund, keine Belege
    • JEV offen
    • amos 28 %Hintergrund, keine Belege
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 24 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV offen
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV offen
    • amos 24 %Hintergrund, keine Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 21 %gleiches Oberthema, hilft nicht
    • Luna 42 %Hintergrund, keine Belege
    • JEV offen
    • amos 24 %Hintergrund, keine Belege
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV offen
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Modelle teilen und schützen
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →