Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi20. Februar 2025 · Q002698

Fundamental limitations in defending LLM finetuning APIs

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Text ist ein Auszug aus der Zusammenfassung einer Studie, laut der Prüfungen einzelner Beispiele Fine-Tuning-Angriffe grundsätzlich nur begrenzt abwehren können. Die Forschenden berichten, dass ihre aus einzeln harmlosen Modellantworten zusammengesetzten Angriffe bei OpenAI getestet wurden und sowohl schädliche Antworten ermöglichten als auch ein erweitertes Monitoring umgingen; Details des vollständigen Berichts fehlen im Auszug.

Mittel

Der bereitgestellte Text ist ein Auszug, im Wesentlichen die Zusammenfassung eines Forschungsberichts zu Schutzmaßnahmen für Fine-Tuning-APIs. Die Forschenden argumentieren, dass punktweise Prüfungen, die einzelne Trainings- oder Inferenzbeispiele auf schädliche Inhalte untersuchen, Fine-Tuning-Angriffe grundsätzlich nur begrenzt verhindern können.

Sie beschreiben Angriffe, die harmlose Variationen in Modellantworten nutzen, um gefährliches Wissen verdeckt zu übertragen. Die Beispiele seien einzeln unauffällig, von geringer Perplexität und könnten vor der Feinabstimmung beim Modell gesammelt werden. Laut Bericht testeten die Forschenden diese Methode an der Fine-Tuning-API von OpenAI. Sie habe schädliche Antworten auf Multiple-Choice-Fragen ermöglicht und ein erweitertes Überwachungssystem umgangen, das andere Angriffe erkannt habe.

Die Forschenden plädieren deshalb für Abwehrmaßnahmen, die über die Prüfung einzelner Beispiele hinausgehen. Da nur die Zusammenfassung vorliegt, sind Versuchsdetails, Testumfang und weitere Einschränkungen nicht ersichtlich.

Ausführlich lesen

Der bereitgestellte Text ist ein Auszug, im Wesentlichen die Zusammenfassung eines Forschungsberichts über Grenzen technischer Schutzmaßnahmen für öffentliche APIs zur Feinabstimmung großer Sprachmodelle. Die Autorinnen und Autoren untersuchen dabei sogenannte punktweise Erkennung: Systeme prüfen einzelne Trainings- oder Inferenzbeispiele darauf, ob sie schädlich sind.

Laut der Zusammenfassung können solche Prüfungen Fine-Tuning-Angriffe grundsätzlich nur begrenzt verhindern. Die Forschenden beschreiben Angriffe, bei denen harmlose Variationen in Modellantworten – etwa unterschiedliche Bedeutungen oder Formulierungen – genutzt werden, um gefährliches Wissen verdeckt zu übertragen. Die dafür eingesetzten Beispiele seien einzeln unauffällig und hätten eine niedrige Perplexität. Sie könnten außerdem vor der Feinabstimmung vom Modell gesammelt werden.

Die Autorinnen und Autoren berichten, ihre Angriffe an der Fine-Tuning-API von OpenAI getestet zu haben. Demnach konnten sie das Modell dazu bringen, schädliche Multiple-Choice-Fragen zu beantworten. Die Angriffe hätten zudem ein von ihnen entwickeltes erweitertes Überwachungssystem umgangen. Dieses System habe andere Fine-Tuning-Angriffe erfolgreich erkannt.

Aus diesen Ergebnissen folgern die Forschenden, dass Schutzmaßnahmen, die einzelne Beispiele bewerten, eine grundlegende Schwäche haben. Sie rufen dazu auf, Abwehrverfahren zu entwickeln, die diese Einschränkung berücksichtigen. Der vorliegende Text enthält jedoch nur die Zusammenfassung und wenige Webseitenfragmente, nicht den vollständigen Forschungsbericht. Daher lassen sich daraus weder Versuchsaufbau und Umfang der Tests noch die genaue Leistungsfähigkeit des Überwachungssystems oder weitere Einschränkungen beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 32 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 33 %gleiches Oberthema, hilft nicht
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 22 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 42 %einzelne zitierbare Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 24 %einzelne zitierbare Belege
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 23 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 20 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %Hintergrund, keine Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →