Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind7. Mai 2024 · Q005804

Teach LLMs to Phish: Stealing Private Information from Language Models

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der Abstract-Auszug beschreibt „neural phishing“, einen von den Autorinnen und Autoren vorgeschlagenen Angriff, der sensible Daten aus Sprachmodellen extrahieren soll. Sie berichten von Erfolgsraten über 10 Prozent bis hin zu 50 Prozent, doch der Auszug erklärt weder die Messbedingungen noch die getesteten Datensätze.

Mittel

Der bereitgestellte Bericht ist ein kurzer Abstract-Auszug zu einer auf der ICLR 2024 erschienenen Arbeit über Datenschutzrisiken bei großen Sprachmodellen. Die Autorinnen und Autoren stellen „neural phishing“ vor: einen Angriff, der vertrauliche oder personenbezogene Informationen aus einem mit Nutzerdaten trainierten Modell gewinnen soll, etwa Kreditkartennummern.

Laut Abstract kann der Angriff mit einigen Dutzend unauffällig wirkenden Sätzen im Trainingsdatensatz und nur vagen Annahmen über die Struktur der Nutzerdaten auskommen. Die Autorinnen und Autoren berichten von Erfolgsraten über 10 Prozent, in einzelnen Fällen bis zu 50 Prozent. Der Auszug nennt jedoch keine Einzelheiten dazu, wie diese Werte ermittelt wurden, welche Datensätze getestet wurden oder unter welchen Bedingungen die Ergebnisse gelten. Er enthält auch keine genauere Darstellung der Methode, der Experimente oder von Gegenmaßnahmen. Die Angaben sind daher als Behauptungen des Abstracts einzuordnen; der vorliegende Auszug reicht nicht aus, um ihre Übertragbarkeit einzuschätzen.

Ausführlich lesen

Der bereitgestellte Bericht ist ein kurzer Auszug aus dem Abstract einer ICLR-2024-Arbeit mit dem Titel „Teach LLMs to Phish: Stealing Private Information from Language Models“. Er behandelt das Risiko, dass große Sprachmodelle vertrauliche Daten aus ihrem Training speichern und später wiedergeben. Die Autorinnen und Autoren stellen einen Angriff vor, den sie „neural phishing“ nennen. Der Abstract beschreibt ihn als Verfahren, mit dem ein Angreifer gezielt sensible Informationen oder personenbezogene Daten aus einem Modell herauszulocken versucht, darunter etwa Kreditkartennummern.

Als Voraussetzung nennt der Auszug, dass der Angreifer einige Dutzend unauffällig wirkende Sätze in den Trainingsdatensatz einbringen kann. Dafür brauche er laut Abstract nur vage Annahmen über die Struktur der Nutzerdaten. Die angegebene Erfolgsrate liege bei über 10 Prozent und erreiche in manchen Fällen bis zu 50 Prozent. Das sind Aussagen der Autorinnen und Autoren; der Auszug erläutert nicht, wie diese Raten gemessen wurden oder auf welche konkreten Datensätze und Versuchsbedingungen sie sich beziehen.

Der Text bietet keine Beschreibung des vollständigen Vorgehens, der Experimente oder möglicher Gegenmaßnahmen. Er enthält lediglich Metadaten, den Abstract sowie Autorennamen und Publikationsort. Daher lassen sich aus diesem Auszug weder die Reichweite der Ergebnisse noch die Bedingungen, unter denen der Angriff erfolgreich ist, genauer beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 57 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 64 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 62 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %Hintergrund, keine Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 68 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 32 %einzelne zitierbare Belege
    • JEV 50 %beantwortet teilweise oder widerspricht
    • amos 23 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 27 %gleiches Oberthema, hilft nicht
    • d3-ultra 31 %Hintergrund, keine Belege

    • SF-H3-T06 Welcher unabhängig prüfbare Mindestbeleg zeigt, dass eine bestimmte Person, Organisation oder ein geschützter Datensatz aus einem veröffentlichten Modell und seinen Adaptern (Zusatzmodulen) verlernt wurde, und welches Restrisiko einer Extraktion lässt sich womöglich nie auf null senken? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 38 %Hintergrund, keine Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →