Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi8. August 2025 · Q002628

Deep ignorance: Filtering pretraining data builds tamper-resistant safeguards into open-weight LLMs

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Text ist nur ein Webseiten- und Abstract-Auszug. Die Forschenden berichten, dass das Filtern von Vortrainingsdaten mehrere offene Modelle widerstandsfähiger gegen adversariales Finetuning zu biologischen Bedrohungen machte, ohne erkennbare Einbußen bei anderen Fähigkeiten. Wenn gefährliche Informationen im Kontext vorgegeben wurden, konnten die Modelle sie dennoch nutzen; der Abstract spricht daher für mehrschichtige Schutzmaßnahmen.

Mittel

Der bereitgestellte Text enthält nur einen Auszug der Webseite mit dem Abstract, nicht das vollständige Forschungspapier. Darin untersuchen die Autorinnen und Autoren, ob das Filtern von Vortrainingsdaten gefährliches Wissen in offenen Sprachmodellen begrenzen und sie widerstandsfähiger gegen nachträgliche Manipulation machen kann. Sie beschreiben eine mehrstufige Filterpipeline und trainierten mehrere Modelle mit 6,9 Milliarden Parametern von Grund auf. Laut Abstract widerstanden diese Modelle adversarialem Finetuning mit bis zu 10.000 Schritten und 300 Millionen Tokens zu biologischen Bedrohungen deutlich besser als bestehende Post-Training-Baselines; nicht verwandte Fähigkeiten hätten sich dabei nicht erkennbar verschlechtert. Die Ergebnisse sprechen den Forschenden zufolge dafür, Datenfilterung als Schutzschicht zu nutzen. Eine wichtige Grenze: Die Modelle konnten gefährliche Informationen weiterhin anwenden, wenn diese im Kontext bereitgestellt wurden, beispielsweise über eine Suchfunktion. Deshalb plädieren die Autorinnen und Autoren für mehrere ineinandergreifende Schutzmaßnahmen. Einzelheiten der Methoden und Resultate sind im vorliegenden Abstract-Auszug nicht enthalten.

Ausführlich lesen

Der bereitgestellte Text ist ein Auszug der AISI-Webseite mit dem Abstract eines Forschungspapiers, kein vollständiger Bericht. Er behandelt die Frage, ob sich riskante Fähigkeiten offener Sprachmodelle durch das Filtern ihrer Vortrainingsdaten widerstandsfähiger begrenzen lassen als durch nachträgliche Sicherheitsanpassungen.

Die Autorinnen und Autoren beschreiben offene Modelle als nützlich für Transparenz, Forschung und dezentralen Zugang, zugleich aber als anfällig für Manipulationen an Gewichten oder Aktivierungen. Laut Abstract hätten bestehende Verfahren des Sicherheits-Finetunings bislang nur begrenzten Schutz gegen adversariales Nachtrainieren geboten. Als alternative oder ergänzende Schutzschicht untersuchen die Forschenden deshalb, ob sich Texte zu Themen mit doppeltem Verwendungszweck aus den Trainingsdaten entfernen lassen, um gefährliches Wissen gar nicht erst im Modell zu verankern.

Dazu entwickelten sie dem Abstract zufolge eine mehrstufige Pipeline zur skalierbaren Filterung von Trainingsdaten. Sie trainierten mehrere Modelle mit jeweils 6,9 Milliarden Parametern von Grund auf und untersuchten deren Wissen zu biologischen Bedrohungen anhand von Proxy-Aufgaben. Als Angriff prüften sie adversariales Finetuning mit bis zu 10.000 Schritten und 300 Millionen Tokens einschlägiger Texte.

Der Abstract berichtet, die gefilterten Modelle hätten sich gegenüber solchen Angriffen erheblich widerstandsfähig gezeigt und bestehende Post-Training-Baselines um mehr als eine Größenordnung übertroffen. Zugleich sei keine beobachtete Verschlechterung nicht verwandter Fähigkeiten festgestellt worden. Die Forschenden folgern daraus, dass die Auswahl und Filterung von Vortrainingsdaten eine praktikable Schutzschicht für offene Modelle sein könnte.

Die Aussage hat jedoch eine zentrale Einschränkung: Laut Abstract fehlte den gefilterten Modellen zwar internes, verankertes gefährliches Wissen, sie konnten entsprechende Informationen aber nutzen, wenn diese im Kontext bereitgestellt wurden, etwa durch eine Suchwerkzeug-Erweiterung. Die Autorinnen und Autoren sehen daher einen mehrschichtigen Schutzansatz als nötig an. Da nur der Abstract-Auszug vorliegt, lassen sich Details zu Filterverfahren, Messmethoden, konkreten Ergebnissen und weiteren Einschränkungen aus dem bereitgestellten Text nicht beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 24 %gleiches Oberthema, hilft nicht
    • Luna 100 %kein Bezug
    • JEV 39 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 26 % · Hintergrund, keine Belege
  2. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 23 %Hintergrund, keine Belege
    • Luna 44 %einzelne zitierbare Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 24 %einzelne zitierbare Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F3-T02 Welche Verantwortung sollten KI-Firmen gegenüber der Öffentlichkeit tragen, wenn ihre Modelle grundlegende wissenschaftliche Entdeckungen ermöglichen, die gefährliche Anwendungen finden könnten? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 23 %gleiches Oberthema, hilft nicht
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 28 %Hintergrund, keine Belege
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 20 %einzelne zitierbare Belege
    • d3-ultra offen
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 30 %beantwortet teilweise oder widerspricht
    • amos 25 %Hintergrund, keine Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 21 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 19 %Hintergrund, keine Belege
    • Luna 41 %einzelne zitierbare Belege
    • JEV 46 %umfangreiche Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 30 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 25 %Hintergrund, keine Belege
    • Luna 49 %Hintergrund, keine Belege
    • JEV 49 %einzelne zitierbare Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 25 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-H2-T01 Was unterscheidet das Veröffentlichen von Modellgewichten (den gelernten Parametern) oder von Agentenwerkzeugen mit offenem Quellcode vom Freisetzen einer Waffe: die Absicht des Akteurs, die Selbstständigkeit des Modells, seine Verwendung oder der Schaden, den es von sich aus anrichten kann? Und können Staaten diese Grenze gemeinsam festschreiben, bevor ein offenes Modell im Mittelpunkt eines schweren Vorfalls steht? Luna: Stufe 3 · 46 % · Hintergrund, keine Belege
    • SF-H2-T02 Wenn ein Staat Agentenwerkzeuge mit offenem Quellcode als Risiko für Spionage und Datenabfluss einstuft und sich offen veröffentlichte Modellgewichte nicht zurückholen lassen: Welche konkreten, für die beteiligten Regierungen annehmbaren Regeln sollen die Veröffentlichung von Modellen mit offenen Gewichten und selbstständigen Agentenfähigkeiten bestimmen, und wie vermeiden diese Regeln, die offene Forschung abzuwürgen? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
    • SF-H2-T04 Wie sollen Staaten mit Open-Source-Modellen aus einem Land umgehen, die in einem anderen schädlich genutzt werden könnten, ohne legitime Forschungszusammenarbeit zu verhindern? Luna: Stufe 3 · 48 % · Hintergrund, keine Belege
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 20 %Hintergrund, keine Belege
    • Luna 47 %einzelne zitierbare Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 30 %gleiches Oberthema, hilft nicht
    • drex 29 %einzelne zitierbare Belege
    • d3-ultra offen

    • SF-H3-T06 Welcher unabhängig prüfbare Mindestbeleg zeigt, dass eine bestimmte Person, Organisation oder ein geschützter Datensatz aus einem veröffentlichten Modell und seinen Adaptern (Zusatzmodulen) verlernt wurde, und welches Restrisiko einer Extraktion lässt sich womöglich nie auf null senken? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 30 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 29 %gleiches Oberthema, hilft nicht
    • Luna 40 %einzelne zitierbare Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 62 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →