Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
arxiv.orgohne Datum · Q001841

Auditable Unlearning for LLMs

arxiv.org · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Bericht ist nur ein Abstract-Auszug, kein vollständiger Artikel. Darin argumentieren die Autorinnen und Autoren, dass bestehende Unlearning-Verfahren neben Vergessen, Fähigkeitserhalt und Angriffsschutz auch Auditierbarkeit erfüllen sollten; keines von elf getesteten Verfahren erfülle laut Abstract alle vier Kriterien. Ihr zweistufiger Zusatz verbessere die Auditierbarkeit und Datenleckage bis zum Oracle-Niveau, während die Fähigkeitserhaltung trotz Verbesserungen bei neun Verfahren darunter bleibe.

Mittel

Der bereitgestellte Bericht ist nur ein Auszug: Er enthält das Abstract und Metadaten der arXiv-Seite, nicht den vollständigen Artikel. Die folgenden Ergebnisse sind daher Aussagen der Autorinnen und Autoren, deren Details sich hier nicht nachprüfen lassen.

Das Abstract untersucht maschinelles Unlearning, also das Entfernen von Trainingsdaten aus einem Modell nach einem Löschantrag. Als vierte Bewertungsdimension neben Vergessen, Erhalt übriger Fähigkeiten und Widerstand gegen Membership-Inference-Angriffe schlagen die Autorinnen und Autoren Auditierbarkeit vor: Eine vom Anbieter berechnete Prüfstatistik soll zu löschende und zu behaltende Daten trennen und damit einen Löschungsnachweis ermöglichen.

Laut Abstract erfüllen elf untersuchte Verfahren auf TOFU, MUSE und RWKU nicht gleichzeitig alle vier Kriterien. Vorgeschlagen wird ein zweistufiger Zusatz: GapWiden vergrößert per Hinge-Loss den Abstand der Prüfstatistiken; anschließend erzeugt ein Inferenz-Sampler Antworten mit dem Basismodell und zieht sie anhand dieser Statistiken gegebenenfalls neu. Die Autorinnen und Autoren berichten Oracle-Niveau für Auditierbarkeit und Datenleckage bei allen Verfahren sowie eine dem Oracle angenäherte Vergessensleistung. Die Fähigkeitserhaltung verbessert sich bei neun von elf Verfahren, erreicht aber nicht das Oracle-Niveau.

Ausführlich lesen

Der bereitgestellte Bericht ist nur ein Auszug aus der arXiv-Seite: Er enthält Metadaten und das Abstract, aber nicht den vollständigen Artikel. Die folgenden Aussagen geben daher die Zusammenfassung der Autorinnen und Autoren wieder; Einzelheiten zu Versuchsaufbau und Auswertung liegen im Auszug nicht vor.

Das Abstract behandelt maschinelles „Unlearning“: Ein bereits trainiertes Modell soll Daten einer Person nach deren Löschantrag nicht mehr wiedergeben. Übliche Bewertungen betrachten laut den Autorinnen und Autoren drei Aspekte: wie gut das Modell die Daten vergisst, wie viele seiner übrigen Fähigkeiten es behält und wie widerstandsfähig es gegen Membership-Inference-Angriffe ist. Als vierte Bewertungsdimension führen sie Auditierbarkeit ein. Gemeint ist die Trennbarkeit der zu löschenden Daten (Forget Set) von den zu bewahrenden Daten (Retain Set) anhand einer vom Anbieter berechneten Prüfstatistik, sodass sich die Löschung gegenüber der betroffenen Person belegen lässt.

Nach Darstellung des Abstracts untersuchen sie elf Unlearning-Verfahren auf den Datensätzen TOFU, MUSE und RWKU. Ihr berichtetes Ergebnis: Keines der Verfahren erfüllt alle vier Bewertungsdimensionen zugleich; die Schwächen unterscheiden sich je nach Methode.

Als Ergänzung zu bestehenden Unlearning-Verfahren schlagen sie ein zweistufiges Verfahren vor. Die erste Stufe, GapWiden, nutzt dem Abstract zufolge einen Hinge-Loss, um den Abstand zwischen den Prüfstatistiken für zu löschende und zu behaltende Daten zu vergrößern. Die zweite Stufe ist ein Sampler zur Inferenzzeit: Das Basismodell entwirft eine Antwort, die anhand der Prüfstatistik bewertet und gegebenenfalls neu gezogen wird.

Die Autorinnen und Autoren berichten, mit ihrem Ansatz erreichten Auditierbarkeit und Datenleckage für jedes untersuchte Unlearning-Verfahren das Niveau eines Oracle-Vergleichs. Die Vergessensleistung nähere sich ebenfalls dem Oracle an. Die Leistung beim Behalten von Fähigkeiten verbessere sich bei neun von elf Verfahren, erreiche jedoch nicht das Oracle-Niveau. Das Abstract folgert daraus, dass sich Nachweise für erfolgte Löschungen gezielt konstruieren lassen und dass die ausdrückliche Forderung nach Auditierbarkeit die Bewertung bestehender Verfahren verändert. Da nur das Abstract vorliegt, lassen sich Methodendetails, konkrete Messwerte und die Reichweite der Ergebnisse anhand dieses Auszugs nicht weiter prüfen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 24 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 28 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

    • SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden? Luna: Stufe 4 · 27 % · einzelne zitierbare Belege
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 32 %umfangreiche Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht

Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 43 %einzelne zitierbare Belege
    • JEV 43 %beantwortet teilweise oder widerspricht
    • amos 23 %einzelne zitierbare Belege
    • SubQ 27 %einzelne zitierbare Belege
    • drex 23 %gleiches Oberthema, hilft nicht
    • d3-ultra 31 %gleiches Oberthema, hilft nicht

    • SF-H3-T06 Welcher unabhängig prüfbare Mindestbeleg zeigt, dass eine bestimmte Person, Organisation oder ein geschützter Datensatz aus einem veröffentlichten Modell und seinen Adaptern (Zusatzmodulen) verlernt wurde, und welches Restrisiko einer Extraktion lässt sich womöglich nie auf null senken? Luna: Stufe 4 · 43 % · einzelne zitierbare Belege
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 44 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →