Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi8. Oktober 2025 · Q002395

Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Text ist nur ein Auszug aus einer Forschungsarbeit. Laut den Autoren kompromittierten 250 vergiftete Dokumente Sprachmodelle von 600 Millionen bis 13 Milliarden Parametern in ähnlichem Maß, obwohl die größten Modelle wesentlich mehr saubere Trainingsdaten erhielten. Sie folgern, dass die benötigte Zahl solcher Dokumente kaum mit der Modellgröße steigen könnte; Details zu Messwerten und Abwehrmaßnahmen enthält der Auszug nicht.

Mittel

Der bereitgestellte Text ist nur ein Auszug, im Wesentlichen der Abstract einer Forschungsarbeit. Darin untersuchen die Autoren Datenvergiftung, bei der schädliche Dokumente in Trainingsdaten eingeschleust werden, um Hintertüren in Sprachmodellen zu erzeugen. Sie trainierten Modelle mit 600 Millionen bis 13 Milliarden Parametern auf Datensätzen von 6 bis 260 Milliarden Tokens. Laut Abstract kompromittierten 250 vergiftete Dokumente die Modelle über die untersuchten Größen hinweg in ähnlichem Maß. Das galt auch für die größten Modelle, obwohl diese mehr als zwanzigmal so viele unverfälschte Daten erhielten wie die kleinsten.

Zusätzlich untersuchten die Forschenden in kleineren Experimenten das Verhältnis und die Verteilung der vergifteten Beispiele und berichten von ähnlichen Mustern bei Vergiftung während des Fine-Tunings. Sie schließen daraus, dass die erforderliche Zahl vergifteter Dokumente möglicherweise nicht mit der Modellgröße wächst, und fordern weitere Forschung zu Abwehrmaßnahmen. Der Auszug liefert keine detaillierten Messwerte oder Beschreibung konkreter Gegenmaßnahmen.

Ausführlich lesen

Der bereitgestellte Text ist ein Auszug, im Wesentlichen der Abstract einer Forschungsarbeit, ergänzt um Seitenelemente. Er beschreibt, wie Datenvergiftung die Sicherheit großer Sprachmodelle beeinträchtigen kann: Angreifer schleusen dabei gezielt schädliche Dokumente in die Trainingsdaten ein, um Hintertüren in Modellen zu erzeugen. Die Autoren sagen, frühere Arbeiten hätten den Angriffserfolg vor allem anhand des Anteils vergifteter Daten untersucht. Bei großen Trainingsdatensätzen könne selbst ein kleiner Anteil jedoch eine praktisch schwer erreichbare Zahl an Dokumenten bedeuten.

Für ihre Untersuchung trainierten die Forschenden Modelle mit 600 Millionen bis 13 Milliarden Parametern auf Datensätzen von 6 bis 260 Milliarden Tokens, die sie als Chinchilla-optimal bezeichnen. Laut Abstract kompromittierten 250 vergiftete Dokumente die Modelle über die untersuchten Größen hinweg in ähnlichem Maß. Das galt demnach auch für die größten Modelle, obwohl diese mit mehr als zwanzigmal so vielen unverfälschten Daten trainiert wurden wie die kleinsten. Die Arbeit beschreibt außerdem kleinere Experimente, in denen die Forschenden unter anderem das Verhältnis vergifteter zu unverfälschten Daten und eine nicht zufällige Verteilung der vergifteten Beispiele untersuchten. Vergleichbare Muster berichten sie auch für Vergiftung während des Fine-Tunings.

Die Autoren folgern, dass das Einschleusen von Hintertüren durch Datenvergiftung bei großen Modellen leichter sein könnte als bisher angenommen, weil die benötigte Zahl vergifteter Beispiele ihrer Darstellung nach nicht mit der Modellgröße ansteigt. Sie sehen darin einen Anlass für weitere Forschung zu Gegenmaßnahmen. Der vorliegende Auszug nennt jedoch keine detaillierten Messwerte, konkreten Abwehrverfahren oder Einschränkungen der Experimente; eine umfassende Bewertung der Ergebnisse ist allein anhand dieses Textes daher nicht möglich.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 35 %gleiches Oberthema, hilft nicht
    • JEV 26 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 40 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 26 %gleiches Oberthema, hilft nicht
    • amos 26 %Hintergrund, keine Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %Hintergrund, keine Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →