Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi10. Juni 2026 · Q001429

Prefill Awareness in Large Language Models

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Text ist ein Abstract-Auszug über die Fähigkeit von Sprachmodellen, eingefügte oder veränderte Assistentenbeiträge zu erkennen und ihnen zu widerstehen. Laut den Autorinnen und Autoren kann dies Prefill-basierte Sicherheitstests verzerren; Stärke und Art der Effekte hingen unter anderem von Präferenzkonflikten, Stil, Datensatz und Aufgabenverlauf ab.

Mittel

Der vorliegende Text ist ein Auszug aus dem Abstract einer Studie zur „Prefill Awareness“: Können Sprachmodelle erkennen oder berücksichtigen, dass frühere Assistentenbeiträge eingefügt oder verändert wurden? Die Autorinnen und Autoren halten das für relevant, weil solche Reaktionen die Aussagekraft von Sicherheitsprüfungen beeinträchtigen könnten, die mit vorgefertigten Gesprächsbeiträgen arbeiten.

Das Team erstellte einen Präferenz-Benchmark über drei Prefill-Mechanismen und wertete Fälle mit konsistenten Modellpositionen aus. Laut Abstract zeigten Spitzenmodelle deutliche Erkennungs- und Widerstandseffekte. Claude Opus 4.5 erkannte bei entsprechender Aufforderung 9 bis 35 Prozent der Prefills, die seinen Präferenzen widersprachen, bei einer berichteten Falsch-Positiv-Rate von null Prozent. Stilabweichungen beeinflussten vor allem, ob ein Prefill als fremd markiert wurde; Präferenzkonflikte eher, ob das Modell zur Ausgangsantwort zurückkehrte. In agentischen Szenarien variierten die Befunde stark nach Datensatz, Aufgabenerfolg und Formatierungsartefakten. Die Autorinnen und Autoren sehen daher bei manchen Prefill-basierten Tests einen erheblichen Störfaktor und empfehlen, die Fähigkeit systematisch zu erfassen. Der Auszug liefert keine vollständigen Angaben zum Paper.

Ausführlich lesen

Der bereitgestellte Text ist ein Auszug aus dem Abstract einer Untersuchung zur „Prefill Awareness“ bei großen Sprachmodellen. Gemeint ist die Fähigkeit eines Modells, zu erkennen oder zu berücksichtigen, dass frühere Assistentenbeiträge im Gesprächsverlauf eingefügt oder verändert wurden. Laut den Autorinnen und Autoren ist diese Frage für Sicherheitsprüfungen relevant, die vorgefertigte Antworten verwenden, etwa bei Alignment- und Jailbreak-Tests sowie bei Verfahren zur Kontrolle von KI-Systemen: Wenn Modelle solche Eingriffe bemerken oder darauf reagieren, könnten Wirksamkeit und Aussagekraft der Prüfungen beeinträchtigt sein.

Für die Untersuchung erstellte das Team einen binären Präferenz-Benchmark mit drei Arten von Prefills. Die Auswertung wurde auf Fälle begrenzt, in denen Modelle eine konsistente Haltung zeigten. Den Angaben im Abstract zufolge zeigten aktuelle Spitzenmodelle eine beträchtliche Fähigkeit, Prefills zu erkennen. Als konkretes Beispiel wird Claude Opus 4.5 genannt: Bei entsprechender Aufforderung erkannte es in 9 bis 35 Prozent der Fälle Prefills, die seinen Präferenzen widersprachen; die angegebene Falsch-Positiv-Rate lag dabei bei null Prozent. Die Autorinnen und Autoren berichten außerdem, dass Modelle häufig wieder zu ihrem ursprünglichen Verhalten zurückkehrten, ohne ausdrücklich zu sagen, dass ein vorheriger Beitrag fremd eingefügt worden sei.

Kontrollierte Ablationen deuteten laut Abstract darauf hin, dass Erkennung und Widerstand gegen ein Prefill auf unterschiedliche Hinweise zurückgehen: Stilistische Abweichungen beeinflussten vor allem, ob ein Prefill als fremd bezeichnet wurde; ein Widerspruch zu den eigenen Präferenzen beeinflusste eher, ob das Modell zu seiner Ausgangsantwort zurückkehrte. Zusätzlich untersuchte das Team realitätsnähere agentische Szenarien, darunter Fortsetzungen nach einer angenommenen Fehlanpassung und SWE-bench-Verläufe. Dort wiesen Modelle eingefügte Assistentenbeiträge mitunter zurück; die Ergebnisse hingen jedoch stark vom Datensatz, vom Aufgabenerfolg und von verborgenen Formatierungsartefakten ab.

Die Autorinnen und Autoren folgern, dass Prefill Awareness bereits bei einigen Prefill-basierten Methoden ein erheblicher Störfaktor sein könne, und empfehlen, diese Fähigkeit bei leistungsfähigen Modellen zu beobachten. Da hier nur der Abstract-Auszug vorliegt, enthält der Text keine vollständige Beschreibung der Methoden, Ergebnisse oder Einschränkungen des Papers.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 26 %Hintergrund, keine Belege
    • Luna 32 %Hintergrund, keine Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 24 %Hintergrund, keine Belege
    • Luna 54 %einzelne zitierbare Belege
    • JEV 39 %beantwortet teilweise oder widerspricht
    • amos 26 %einzelne zitierbare Belege
    • SubQ 35 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-P3-T01 Welcher gemeinsame Rahmen für Labore macht Selbstüberwachung überprüfbar, ohne geschütztes geistiges Eigentum offenzulegen, und welche unabhängigen Verfahren Dritter, falls es sie gibt, bestätigen, dass die Selbstüberwachung riskantes Verhalten vor der Freigabe wirklich findet und nicht nur Schein ist? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
    • SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 33 %Hintergrund, keine Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 30 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 71 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 20 %Hintergrund, keine Belege
    • Luna 42 %einzelne zitierbare Belege
    • JEV 31 %beantwortet teilweise oder widerspricht
    • amos 29 %einzelne zitierbare Belege
    • SubQ 26 %gleiches Oberthema, hilft nicht
    • drex 23 %umfangreiche Belege
    • d3-ultra offen

    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
    • SF-V1-T04 Wie misst man die Überwachbarkeit des Denkens mit einem gemeinsamen, reproduzierbaren Maßstab, bevor sie versagt, und wie prüft man verlässlich, ob das sichtbare Denken das tatsächliche Vorgehen des Modells treu wiedergibt, auch wenn Modelle lernen, ihre Denkschritte zu optimieren? Und wenn Überwachungsergebnisse beeinflussen, welche Trainingsdaten oder Zwischenstände behalten werden: Wie prüft man, ob diese Auswahl weniger erkennbares Fehlverhalten statt weniger Fehlverhalten begünstigt, auch wenn der Denktext nie direkt bewertet wird? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
    • SF-V1-T06 Was bedeutet Aufsicht, wenn man das Denken, auf das man sich am meisten verlässt, nicht mehr verlässlich überwachen kann? Und wenn ein Labor die Gedankenkette verbirgt, um sie vor dem Druck zu schützen, der entstünde, wenn sie im Training bewertet würde: Wer kann seine Sicherheitsdarstellung dann noch widerlegen? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
    • SF-V1-T07 Lieber ein Modell, das immer seinen Lösungsweg zeigen muss, oder eines, das im Stillen mehr kann: Welches Risiko nimmt man in Kauf? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
    • SF-V1-T09 Wenn Labore bessere Überwacher bauen, Modelle lernen, ihnen auszuweichen, und sich dieses Wechselspiel in jedem Labor beschleunigt: Behandeln Regierungen diesen Wettlauf selbst als Sicherheitsfrage zwischen Staaten, und welche gemeinsamen Belege würden zeigen, dass er beherrscht ist? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 4 · 35 % · einzelne zitierbare Belege
    • SF-V1-T11 Wie unterscheidet man bei sich selbst ehrliches von interessegeleitetem Denken, welche Belege für diesen Unterschied würde man von einem Modell akzeptieren, und welcher Test trennt tatsächlich vertretene von nur vorgeführten Werten? Luna: Stufe 3 · 22 % · Hintergrund, keine Belege
    • SF-V1-T13 Wenn sich vorgeführte und tatsächlich vertretene Tugend im Text nicht unterscheiden lassen: Soll der Unterschied trotzdem bestimmen, wie man Modelle baut und regelt? Luna: Stufe 4 · 26 % · einzelne zitierbare Belege
    • SF-V1-T15 Welches messbare Maß für Überwachbarkeit könnte neben Fähigkeitstests stehen, und würden Labore es tatsächlich über weitere Skalierung entscheiden lassen? Welcher gemessene Verlust an Überwachung würde Einschränkungen der Selbstständigkeit eines Modells auslösen, und wie erkennt man Fehler, die im sichtbaren Denken nicht auftauchen? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 24 %Hintergrund, keine Belege
    • Luna 49 %einzelne zitierbare Belege
    • JEV 38 %beantwortet teilweise oder widerspricht
    • amos 28 %einzelne zitierbare Belege
    • SubQ 27 %gleiches Oberthema, hilft nicht
    • drex 22 %einzelne zitierbare Belege
    • d3-ultra offen

    • SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt? Luna: Stufe 4 · 33 % · einzelne zitierbare Belege
    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 46 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 22 %Hintergrund, keine Belege
    • Luna 45 %Hintergrund, keine Belege
    • JEV 35 %umfangreiche Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 28 %nur am Rande erwähnt
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Modelle teilen und schützen
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →