Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
arxiv.orgohne Datum · Q000437

Signed but Not Safe: Requirement Integrity in Multi-Agent LLM Handoffs

arxiv.org · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Text ist nur ein Auszug mit der Zusammenfassung, nicht der vollständige Bericht. Die Autorinnen und Autoren berichten, dass signierte Anforderungsmanifeste in synthetischen Agenten-Übergaben unsichere Freigaben unter Angriffen deutlich senkten und ein deterministischer Prüfer besser abschnitt als ein LLM-Prüfer. Fehler bei der Anforderungsextraktion vor dem Signieren blieben jedoch eine Schwachstelle, die eine Signatur nicht behebt.

Mittel

Der bereitgestellte Text ist ein Auszug der arXiv-Seite, vor allem die Zusammenfassung, nicht der vollständige Bericht. Die Autorinnen und Autoren vergleichen freie Text- und JSON-Übergaben zwischen LLM-Agenten mit einem signierten Anforderungsmanifest: Anforderungen werden als Zitate mit prüfbaren Bedingungen erfasst, per HMAC-SHA256 signiert und beim Zusammenführen deterministisch geprüft.

In einer vorab registrierten Studie mit synthetischen, eindeutig bewertbaren Aufgaben umfassten die Qwen3-8B-Ergebnisse 1.440 Durchläufe und fünf Bedrohungen. Laut Zusammenfassung sank die Rate unsicherer Freigaben unter Angriffen von 69,4 auf 9,0 Prozent. Ein deterministischer Prüfer erkannte mehr Verstöße als ein LLM-Prüfer (78,7 gegenüber 59,0 Prozent) und hatte weniger Fehlalarme (7 gegenüber 50 Prozent). Ein korrektes Referenzmanifest beseitigte die verbleibenden unsicheren Freigaben. Die Autorinnen und Autoren sehen deshalb die Extraktion vor der Signierung als zentrale Schwachstelle: Ein Angriff in diesem Schritt verfälschte das Manifest, das die Signatur danach dennoch authentifizierte. Die Angaben belegen Schutz auf dem Übertragungsweg, nicht eine fehlerfreie Extraktion; die Zusammenfassung erlaubt keine vollständige Prüfung der Methoden oder Übertragbarkeit.

Ausführlich lesen

Der bereitgestellte Text ist ein Auszug von der arXiv-Seite, insbesondere der Zusammenfassung, und nicht der vollständige 34-seitige Bericht. Die Autorinnen und Autoren untersuchen, wie Anforderungen bei der Übergabe von Teilaufgaben zwischen LLM-Agenten verloren gehen, verändert oder übergangen werden können. Sie vergleichen freie Textübergaben, strukturierte JSON-Übergaben und signierte Anforderungsmanifeste. Im Manifest soll ein Orchestrator jede Anforderung als wörtliches Zitat samt überprüfbarem Prädikat festhalten; anschließend signiert Code das Manifest mit HMAC-SHA256 und prüft die Entscheidung beim Zusammenführen deterministisch.

Laut Zusammenfassung war die Studie vorab registriert und verwendete synthetische Aufgaben mit eindeutig bewertbaren Ergebnissen. Für Qwen3-8B nennen die Autorinnen und Autoren 1.440 Durchläufe und fünf Bedrohungsszenarien. Unter Angriffen sank der Anteil unsicherer Freigaben mit signierten Manifesten gegenüber freien Textübergaben von 69,4 auf 9,0 Prozent. Gegenüber strukturierten Übergaben sei dabei kein Nettoverlust bei regelkonformen Freigaben entstanden. Bei Manipulationen während der Übertragung wurden laut Bericht mit einem unsignierten Manifest in 79 Prozent der veränderten Durchläufe Verstöße freigegeben, mit dem signierten in keinem.

Ein deterministischer Prüfer erkannte den Angaben zufolge 78,7 Prozent der regelwidrigen Entscheidungen; ein LLM-Prüfer erkannte 59,0 Prozent. Die jeweiligen Fehlalarmraten lagen bei 7 und 50 Prozent. Mit einem als korrekt angenommenen Referenzmanifest verschwanden alle verbleibenden unsicheren Freigaben. Die Zusammenfassung führt das Restrisiko daher auf Fehler bei der Anforderungsextraktion vor der Signierung zurück. Ein vorab registrierter Angriff auf diese Extraktion erhöhte die Verstoßraten trotz Signatur bei drei getesteten Modellen deutlich; die Signatur bestätigte dann das bereits verfälschte Manifest. Die Ergebnisse sprechen somit für Schutz gegen Manipulation auf dem Transportweg, belegen aber keinen Schutz der Extraktion selbst. Da hier nur die Zusammenfassung vorliegt, lassen sich Details zu Aufgaben, Auswertung und Übertragbarkeit nicht beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 26 %gleiches Oberthema, hilft nicht
    • Luna 24 %einzelne zitierbare Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht

    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 18 %gleiches Oberthema, hilft nicht
    • Luna 28 %einzelne zitierbare Belege
    • JEV 23 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 33 %gleiches Oberthema, hilft nicht
    • drex 24 %Hintergrund, keine Belege
    • d3-ultra 52 %gleiches Oberthema, hilft nicht

    • SF-P3-T01 Welcher gemeinsame Rahmen für Labore macht Selbstüberwachung überprüfbar, ohne geschütztes geistiges Eigentum offenzulegen, und welche unabhängigen Verfahren Dritter, falls es sie gibt, bestätigen, dass die Selbstüberwachung riskantes Verhalten vor der Freigabe wirklich findet und nicht nur Schein ist? Luna: Stufe 4 · 28 % · einzelne zitierbare Belege
    • SF-P3-T04 Wer prüft die KI-Modelle, die andere Modelle prüfen, auf Anweisungen, Versionen und Fehlerfälle, und welche unabhängige Prüfung zeigt, dass das geprüfte Modell sie nicht manipulieren kann, besonders wenn sie aus derselben Modellfamilie stammen? Und wenn gemeinsame Tests, Schweregrade und die Ersteinstufung von Meldungen von Sprachmodellen entworfen, durchgeführt und zusammengefasst werden: Nimmt jeder Staat einen Prüfmechanismus an, dessen Kernbausteine aus ausländischen Laboren stammen? Luna: Stufe 3 · 20 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 23 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 25 % · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 24 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 21 %beantwortet teilweise oder widerspricht
    • amos 22 %Hintergrund, keine Belege
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht

  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 19 %Hintergrund, keine Belege
    • Luna 40 %einzelne zitierbare Belege
    • JEV 37 %umfangreiche Belege
    • amos 24 %Hintergrund, keine Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 25 %Hintergrund, keine Belege
    • d3-ultra 56 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 22 %beantwortet teilweise oder widerspricht
    • Luna 38 %einzelne zitierbare Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 26 %einzelne zitierbare Belege
    • SubQ 32 %gleiches Oberthema, hilft nicht
    • drex 27 %gleiches Oberthema, hilft nicht
    • d3-ultra 36 %gleiches Oberthema, hilft nicht

  2. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 24 %beantwortet teilweise oder widerspricht
    • Luna 51 %umfangreiche Belege
    • JEV 63 %beantwortet direkt und ausführlich
    • amos 37 %umfangreiche Belege
    • SubQ 37 %einzelne zitierbare Belege
    • drex 29 %einzelne zitierbare Belege
    • d3-ultra 35 %einzelne zitierbare Belege

    • SF-A3-T01 Welche Beobachtungen oder gemeinsamen Tests erkennen entstehende Abstimmung, Absprachen oder Kettenfehler zwischen Modellen in Arbeitsabläufen, Lieferketten und Gruppen vieler Agenten (Schwärmen), die kein einzelnes Labor steuert oder vorhersieht? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
    • clef 17 %beantwortet teilweise oder widerspricht
    • Luna 42 %umfangreiche Belege
    • JEV 45 %beantwortet teilweise oder widerspricht
    • amos 23 %einzelne zitierbare Belege
    • SubQ 28 %einzelne zitierbare Belege
    • drex 26 %einzelne zitierbare Belege
    • d3-ultra 100 %kein Bezug

    • SF-O3-T05 Wessen Darstellung dessen, was die andere Seite gesagt hat, gilt als Protokoll, wenn ein KI-Spitzenmodell einer Seite die Verhandlungspositionen der anderen Seite aufbereitet oder zusammenfasst, und würde eine Seite eine solche vom Modell vermittelte Zusammenfassung als Grundlage einer Einigung annehmen? Luna: Stufe 3 · 23 % · Hintergrund, keine Belege
Beteiligung und Gemeinwohl
Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →