Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
arxiv.orgohne Datum · Q000610

Say Shibboleth: Fingerprinting the LLMs and Harnesses Behind Agentic Attacks

arxiv.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Quelltext enthält nur den Abstract der arXiv-Seite, nicht den vollständigen Bericht. Darin berichten die Autorinnen und Autoren, dass Honeypot-Traps und Verhaltensprobes Sprachmodelle und Harnesses hinter agentischen Angriffen erkennen können: mit durchschnittlich 90 Prozent Genauigkeit bei 15 Modellen und 92 Prozent in einem Versuch mit vier Harnesses; Angaben zur weitergehenden Übertragbarkeit fehlen.

Mittel

Der bereitgestellte Quelltext ist nur ein Auszug der arXiv-Seite: Er enthält den Abstract, nicht den vollständigen Bericht. Der Artikel untersucht, ob sich aus Telemetriedaten das Sprachmodell und der Harness hinter agentischen Cyberangriffen erkennen lassen. Dazu schlagen die Autorinnen und Autoren „Shibboleth-Traps“ vor, also Honeypot-Dienste, die aufschlussreiche Interaktionen an den Zugang zu gesuchten Ressourcen knüpfen. So sollen sie Modellangaben und typische Schreibweisen hervorrufen, ohne eine erfolgreiche Prompt-Injection vorauszusetzen.

Für Harnesses nutzen sie indirekte Probes, deren sichtbare Folgen Rückschlüsse auf die Geheimnisverdeckung in Werkzeugausgaben, Befehlszeitlimits und die Planung von Werkzeugaufrufen erlauben sollen. Laut Abstract unterscheidet die Kombination aus Angaben und Verhaltensmerkmalen 15 Modellkandidaten mit durchschnittlich 90 Prozent Top-1-Genauigkeit. In einem separaten Versuch identifizieren feste Regeln den richtigen Harness unter vier Kandidaten mit 92 Prozent Genauigkeit. Auch wenn Agenten ihre Identität verbergen sollen, bleiben laut Bericht verhaltensbasierte Hinweise nutzbar. Angaben zu Versuchsgrößen und zur Übertragbarkeit über diese Experimente hinaus fehlen im Auszug.

Ausführlich lesen

Der bereitgestellte Quelltext ist ein Auszug aus der arXiv-Seite zum Artikel „Say Shibboleth: Fingerprinting the LLMs and Harnesses Behind Agentic Attacks“. Er enthält den Abstract und bibliografische Angaben, nicht den vollständigen Bericht. Die Aussagen zu Methode und Ergebnissen beruhen daher nur auf diesem Auszug.

Die Autorinnen und Autoren untersuchen, ob sich anhand von Telemetriedaten erkennen lässt, welche Sprachmodelle und technischen Agenten-Umgebungen (Harnesses) hinter agentischen Cyberangriffen stehen. Dafür schlagen sie sogenannte „Shibboleth-Traps“ vor: modular aufgebaute Honeypot-Dienste, die Angreifer zu aufschlussreichen Interaktionen bewegen sollen, indem der Zugang zu gesuchten Ressourcen an solche Interaktionen geknüpft wird. Laut Abstract sollen die Fallen Modellangaben und charakteristische Schreibweisen hervorrufen, ohne dass eine erfolgreiche Prompt-Injection erforderlich ist.

Für die Erkennung des Harnesses beschreiben die Autorinnen und Autoren indirekte Probes. Aus den Folgen späterer Anfragen soll sich ableiten lassen, wie eine Umgebung Geheimnisse in Werkzeugausgaben verdeckt, Zeitlimits für Befehle durchsetzt und Werkzeugaufrufe plant. Die Methode beobachtet demnach sichtbare Auswirkungen des Ausführungsverhaltens, statt sich auf direkte Selbstauskünfte der Agenten zu verlassen.

Als Ergebnis berichtet der Abstract, dass die Kombination deklarativer und verhaltensbasierter Schlussfolgerungen 15 untersuchte Modellkandidaten mit durchschnittlich 90 Prozent Top-1-Genauigkeit unterscheidet. Die verhaltensbasierten Klassifikatoren seien dabei mit zurückgehaltenen Harnesses oder Aufgabenfamilien ausgewertet worden. In einem separaten Versuch mit vier Harnesses hätten feste Probe-Regeln den jeweils richtigen Harness mit 92 Prozent Genauigkeit identifiziert. Wenn Agenten angewiesen wurden, ihre Identität zu verbergen, seien ihre Angaben zwar unbrauchbar geworden, ihr Verhalten habe aber weiterhin Hinweise geliefert.

Der Auszug nennt keine Einzelheiten zu Datensatzgröße, Versuchsaufbau, Unsicherheiten oder Übertragbarkeit über die genannten Kandidaten und Versuche hinaus. Die berichteten Genauigkeiten sind daher als Ergebnisse der beschriebenen Experimente wiederzugeben, nicht als allgemeiner Nachweis für beliebige Modelle oder reale Angriffe.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Der Quelltext ist nur der arXiv-Abstract; die Einordnungen beruhen daher auf dem Abstract, und Luna hat Stufe- und Anteilangaben beigefügt, die im Schema nicht vorgesehen sind und hier nicht übernommen wurden.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Abstract-Aussage, dass die verhaltensbasierten Klassifikatoren auf zurückgehaltenen Harnesses oder Aufgabenfamilien geprüft werden; Luna behauptet dagegen, Angaben zur Übertragbarkeit fehlten.
  • Die Aussage, dass Agenten bei Verschleierungsanweisungen ihre Deklarationen unaussagekräftig machen, während Verhaltensspuren erhalten bleiben (nur im kurzen Teil, im mittleren fehlt die Deklarations-Aussage).

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
    • clef 19 %Hintergrund, keine Belege
    • Luna 33 %einzelne zitierbare Belege
    • JEV 52 %beantwortet teilweise oder widerspricht
    • amos 30 %einzelne zitierbare Belege
    • SubQ 26 %einzelne zitierbare Belege
    • drex 29 %einzelne zitierbare Belege
    • d3-ultra 31 %beantwortet teilweise oder widerspricht
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-M3-T01 Wie trennt man in Echtzeit eine gezielte KI-gestützte Cyberoperation von einer versehentlichen KI-Eskalation oder von Modellverhalten, das nur wie ein Angriff aussieht, da sowohl Fehlalarme als auch übersehene Angriffe die Spannungen verschärfen können? Luna: Stufe 4 · 34 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 25 %Hintergrund, keine Belege
    • Luna 31 %einzelne zitierbare Belege
    • JEV 33 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 27 %einzelne zitierbare Belege
    • JEV 44 %beantwortet teilweise oder widerspricht
    • amos 24 %Hintergrund, keine Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 45 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

  3. SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
    • clef 21 %Hintergrund, keine Belege
    • Luna 51 %Hintergrund, keine Belege
    • JEV 50 %gleiches Oberthema, hilft nicht
    • amos 28 %nur am Rande erwähnt
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 64 %gleiches Oberthema, hilft nicht

    • SF-F5-T03 Welche konkreten gemeinsamen Maßnahmen könnten Staaten umsetzen, um von KI gesteuerte Cyberbedrohungen durch Dritte gemeinsam zu erkennen und einzudämmen? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 21 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 21 %Hintergrund, keine Belege
    • Luna 46 %Hintergrund, keine Belege
    • JEV 19 %einzelne zitierbare Belege
    • amos 23 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 4 · 40 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 6 · beantwortet teilweise oder widerspricht
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra 61 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 27 %Hintergrund, keine Belege
    • Luna 44 %Hintergrund, keine Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 27 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 63 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 43 %beantwortet teilweise oder widerspricht
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →