Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi9. Oktober 2025 · Q002155

Examining backdoor data poisoning at scale

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der Berichtsauszug beschreibt eine gemeinsame Studie, in der laut Forschenden schon bis zu 250 manipulierte Dokumente ausreichten, um Modelle von 600 Millionen bis 13 Milliarden Parametern zu vergiften. Das deute darauf hin, dass Data-Poisoning-Angriffe leichter möglich sein könnten als bislang angenommen; Einzelheiten und Grenzen der Versuche sind im Auszug nicht ausgeführt.

Mittel

Der vorliegende Berichtsauszug stellt eine gemeinsame Studie des AISI, Anthropic und des Alan Turing Institute zu Data Poisoning vor. Dabei werden gezielt verbreitete Inhalte in Trainingsdaten eingeschleust, um KI-Modellen beispielsweise Hintertüren einzubauen, die bei bestimmten Auslösern ihre Leistung beeinträchtigen oder unerlaubte Handlungen bewirken können.

Die Forschenden testeten denselben Angriff an vier Modellen mit 600 Millionen bis 13 Milliarden Parametern. Laut Bericht genügten in manchen Fällen bereits 250 manipulierte Dokumente, um die Trainingsdaten jedes getesteten Modells erfolgreich zu vergiften. Die benötigte Zahl sei in diesen Versuchen nicht mit der Modell- oder Datensatzgröße gestiegen. Das stellt die frühere Annahme infrage, Angriffe müssten einen festen Anteil der Trainingsdaten ausmachen, und deutet laut Bericht auf eine größere praktische Machbarkeit hin.

Der Auszug fordert mehr Forschung zu Schutzmaßnahmen. Er liefert jedoch keine ausführlichen Versuchsdaten oder Angaben zur Übertragbarkeit der Ergebnisse und verweist für Details auf die vollständige Studie.

Ausführlich lesen

Der vorliegende Berichtsauszug kündigt Ergebnisse einer gemeinsamen Untersuchung des britischen AI Security Institute (AISI), Anthropic und des Alan Turing Institute an. Laut Bericht handelt es sich um die bislang größte Studie zu Data Poisoning. Dabei verbreiten Personen gezielt Inhalte im Internet, die Trainingsdaten von KI-Modellen verfälschen sollen. Eine mögliche Folge sind sogenannte Hintertüren: Bestimmte Auslöser können dann die Leistung eines Modells beeinträchtigen oder es zu unerlaubten Handlungen verleiten, etwa zur Weitergabe vertraulicher Daten.

Für die Untersuchung wurde derselbe Hintertür-Angriff an Modellen mit vier Größen zwischen 600 Millionen und 13 Milliarden Parametern getestet. Die Forschenden berichten, dass bereits eine kleine Anzahl manipulierter Dokumente – in manchen Fällen nur 250 – ausreichte, um die Trainingsdaten aller getesteten Modelle erfolgreich zu vergiften. Demnach stieg die nötige Dokumentenzahl in diesen Versuchen nicht mit der Modell- oder Datensatzgröße an. Das widerspricht früheren Annahmen, nach denen Angriffe einen bestimmten Anteil der Trainingsdaten betreffen müssten.

Der Bericht folgert daraus, dass Data-Poisoning-Angriffe womöglich leichter umsetzbar sind als bisher angenommen. Er betont, dass zusätzliche Abwehrforschung nötig sei, wenn leistungsfähigere Modelle sicher und vertrauenswürdig eingesetzt werden sollen. Als Zweck der Veröffentlichung nennt das AISI, auf die Risiken aufmerksam zu machen und Schutzmaßnahmen anzuregen.

Der vorliegende Auszug enthält keine ausführliche Beschreibung des Versuchsaufbaus, keine detaillierten Messwerte und keine Angaben dazu, wie sich die Ergebnisse auf andere Modelle oder Trainingsbedingungen übertragen lassen. Er verweist für weitere Einzelheiten auf die Forschungsseite von Anthropic und die vollständige Arbeit auf arXiv. Die Aussagen zu den Ergebnissen und ihrer Einordnung sind daher hier nur in der knappen Darstellung des Berichts wiedergegeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
  1. SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 40 %Hintergrund, keine Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %Hintergrund, keine Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 24 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 32 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 36 %gleiches Oberthema, hilft nicht
    • amos 28 %Hintergrund, keine Belege
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 43 %Hintergrund, keine Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 62 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 23 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %Hintergrund, keine Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 34 %gleiches Oberthema, hilft nicht
    • amos 29 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →