Auditable Unlearning for LLMs
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Bericht ist nur ein Abstract-Auszug, kein vollständiger Artikel. Darin argumentieren die Autorinnen und Autoren, dass bestehende Unlearning-Verfahren neben Vergessen, Fähigkeitserhalt und Angriffsschutz auch Auditierbarkeit erfüllen sollten; keines von elf getesteten Verfahren erfülle laut Abstract alle vier Kriterien. Ihr zweistufiger Zusatz verbessere die Auditierbarkeit und Datenleckage bis zum Oracle-Niveau, während die Fähigkeitserhaltung trotz Verbesserungen bei neun Verfahren darunter bleibe.
Mittel
Der bereitgestellte Bericht ist nur ein Auszug: Er enthält das Abstract und Metadaten der arXiv-Seite, nicht den vollständigen Artikel. Die folgenden Ergebnisse sind daher Aussagen der Autorinnen und Autoren, deren Details sich hier nicht nachprüfen lassen.
Das Abstract untersucht maschinelles Unlearning, also das Entfernen von Trainingsdaten aus einem Modell nach einem Löschantrag. Als vierte Bewertungsdimension neben Vergessen, Erhalt übriger Fähigkeiten und Widerstand gegen Membership-Inference-Angriffe schlagen die Autorinnen und Autoren Auditierbarkeit vor: Eine vom Anbieter berechnete Prüfstatistik soll zu löschende und zu behaltende Daten trennen und damit einen Löschungsnachweis ermöglichen.
Laut Abstract erfüllen elf untersuchte Verfahren auf TOFU, MUSE und RWKU nicht gleichzeitig alle vier Kriterien. Vorgeschlagen wird ein zweistufiger Zusatz: GapWiden vergrößert per Hinge-Loss den Abstand der Prüfstatistiken; anschließend erzeugt ein Inferenz-Sampler Antworten mit dem Basismodell und zieht sie anhand dieser Statistiken gegebenenfalls neu. Die Autorinnen und Autoren berichten Oracle-Niveau für Auditierbarkeit und Datenleckage bei allen Verfahren sowie eine dem Oracle angenäherte Vergessensleistung. Die Fähigkeitserhaltung verbessert sich bei neun von elf Verfahren, erreicht aber nicht das Oracle-Niveau.
Ausführlich lesen
Der bereitgestellte Bericht ist nur ein Auszug aus der arXiv-Seite: Er enthält Metadaten und das Abstract, aber nicht den vollständigen Artikel. Die folgenden Aussagen geben daher die Zusammenfassung der Autorinnen und Autoren wieder; Einzelheiten zu Versuchsaufbau und Auswertung liegen im Auszug nicht vor.
Das Abstract behandelt maschinelles „Unlearning“: Ein bereits trainiertes Modell soll Daten einer Person nach deren Löschantrag nicht mehr wiedergeben. Übliche Bewertungen betrachten laut den Autorinnen und Autoren drei Aspekte: wie gut das Modell die Daten vergisst, wie viele seiner übrigen Fähigkeiten es behält und wie widerstandsfähig es gegen Membership-Inference-Angriffe ist. Als vierte Bewertungsdimension führen sie Auditierbarkeit ein. Gemeint ist die Trennbarkeit der zu löschenden Daten (Forget Set) von den zu bewahrenden Daten (Retain Set) anhand einer vom Anbieter berechneten Prüfstatistik, sodass sich die Löschung gegenüber der betroffenen Person belegen lässt.
Nach Darstellung des Abstracts untersuchen sie elf Unlearning-Verfahren auf den Datensätzen TOFU, MUSE und RWKU. Ihr berichtetes Ergebnis: Keines der Verfahren erfüllt alle vier Bewertungsdimensionen zugleich; die Schwächen unterscheiden sich je nach Methode.
Als Ergänzung zu bestehenden Unlearning-Verfahren schlagen sie ein zweistufiges Verfahren vor. Die erste Stufe, GapWiden, nutzt dem Abstract zufolge einen Hinge-Loss, um den Abstand zwischen den Prüfstatistiken für zu löschende und zu behaltende Daten zu vergrößern. Die zweite Stufe ist ein Sampler zur Inferenzzeit: Das Basismodell entwirft eine Antwort, die anhand der Prüfstatistik bewertet und gegebenenfalls neu gezogen wird.
Die Autorinnen und Autoren berichten, mit ihrem Ansatz erreichten Auditierbarkeit und Datenleckage für jedes untersuchte Unlearning-Verfahren das Niveau eines Oracle-Vergleichs. Die Vergessensleistung nähere sich ebenfalls dem Oracle an. Die Leistung beim Behalten von Fähigkeiten verbessere sich bei neun von elf Verfahren, erreiche jedoch nicht das Oracle-Niveau. Das Abstract folgert daraus, dass sich Nachweise für erfolgte Löschungen gezielt konstruieren lassen und dass die ausdrückliche Forderung nach Auditierbarkeit die Bewertung bestehender Verfahren verändert. Da nur das Abstract vorliegt, lassen sich Methodendetails, konkrete Messwerte und die Reichweite der Ergebnisse anhand dieses Auszugs nicht weiter prüfen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 28 %Hintergrund, keine Belege
- JEV 24 %einzelne zitierbare Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 28 %gleiches Oberthema, hilft nicht
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 61 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus?
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 27 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 32 %umfangreiche Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 57 %gleiches Oberthema, hilft nicht
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 43 %einzelne zitierbare Belege
- JEV 43 %beantwortet teilweise oder widerspricht
- amos 23 %einzelne zitierbare Belege
- SubQ 27 %einzelne zitierbare Belege
- drex 23 %gleiches Oberthema, hilft nicht
- d3-ultra 31 %gleiches Oberthema, hilft nicht
- SF-H3-T06 Welcher unabhängig prüfbare Mindestbeleg zeigt, dass eine bestimmte Person, Organisation oder ein geschützter Datensatz aus einem veröffentlichten Modell und seinen Adaptern (Zusatzmodulen) verlernt wurde, und welches Restrisiko einer Extraktion lässt sich womöglich nie auf null senken?
- SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- clef 100 %kein Bezug
- Luna 36 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 44 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv