Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
arxiv.orgohne Datum · Q000403

Forget What Comes Next: LLM Unlearning via Statistical Independence

arxiv.org · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Bericht ist nur der arXiv-Eintrag mit Abstract. Die Autoren beschreiben PINT als ein HSIC-basiertes Verfahren zum Verlernen von Modellinhalten und berichten von einem besonders guten Verhältnis zwischen Vergessen und Nutzbarkeit; konkrete Messwerte und Versuchsdetails fehlen im Auszug.

Mittel

Der vorliegende Bericht enthält nur den arXiv-Eintrag und dessen Abstract, nicht den vollständigen Artikel. Darin stellen die Autoren PINT vor, ein Verfahren, das maschinelles Verlernen in großen Sprachmodellen fördern soll. Es nutzt HSIC, um die statistische Abhängigkeit zwischen zu vergessenden Tokens und den internen Repräsentationen zu reduzieren, die zur Vorhersage dieser Tokens dienen. Eine berechenbare obere Schranke soll das Optimierungsziel formal mit der Fähigkeit des Modells verknüpfen, die Inhalte wiederzugeben.

Laut Abstract wurde PINT in acht Einstellungen und mit Modellen bis sieben Milliarden Parametern untersucht; die Autoren geben außerdem eine Skalierbarkeit bis 70 Milliarden Parameter an. Die Aufgaben umfassen Poison-Beispiele, personenbezogene Daten, gefährliches Wissen aus Biologie und Cybersicherheit sowie urheberrechtlich geschützte Texte. Sie berichten, PINT erreiche durchschnittlich den stärksten Kompromiss zwischen Vergessen und Nutzbarkeit. Als einziges Verfahren habe es Gaußsche Poison-Beispiele unentdeckbar gemacht und dabei nahezu die ursprüngliche Modellnutzbarkeit erhalten. Der Auszug enthält keine konkreten Messwerte oder Versuchsdetails, anhand derer sich diese Aussagen näher prüfen ließen.

Ausführlich lesen

Der vorliegende Bericht ist ein arXiv-Eintrag mit Titel, Metadaten und Abstract, kein vollständiger Artikeltext. Er stellt PINT vor, ein Verfahren zum maschinellen Verlernen von Informationen in großen Sprachmodellen. Anlass ist laut Abstract, dass solche Modelle Teile ihrer Trainingsdaten speichern und wiedergeben können, was Datenschutz- und Rechtsfragen aufwirft. Zudem könnten vergiftete Trainingsbeispiele nach einem Unlearning statistisch erkennbar bleiben. Die Autoren nehmen dies zum Anlass, zu hinterfragen, ob gängige Unlearning-Ziele tatsächlich die gespeicherten Inhalte beseitigen.

PINT nutzt das Hilbert-Schmidt Independence Criterion (HSIC), um die statistische Abhängigkeit zwischen zu vergessenden Tokens und den internen Repräsentationen zu verringern, mit denen das Modell diese Tokens vorhersagt. Die Autoren geben an, ihr HSIC-basiertes Optimierungsziel formal mit „Exact Memorization“ zu verknüpfen: Eine berechenbare obere Schranke soll eine Verbindung zwischen dem Trainingsziel und der Fähigkeit des Modells herstellen, die betreffenden Tokens wiederzugeben.

Laut Abstract vergleichen die Autoren in acht Versuchsanordnungen das Verhältnis zwischen Vergessen und Nutzbarkeit. Untersucht worden seien Modelle bis zu sieben Milliarden Parametern; außerdem behaupten sie, die Skalierbarkeit bis zu 70 Milliarden Parametern gezeigt zu haben. Die Tests umfassen künstlich eingefügte Gaußsche Poison-Beispiele, personenbezogene Informationen, gefährliches Wissen aus Biologie und Cybersicherheit sowie urheberrechtlich geschützte Bücher und Nachrichtenartikel.

Die Autoren berichten, PINT erreiche im Durchschnitt das beste Verhältnis zwischen Vergessen und Nutzbarkeit. Als besonderen Befund führen sie an, dass PINT als einziges verglichenes Verfahren Gaußsche Poison-Beispiele unentdeckbar mache und dabei die Nutzbarkeit des Modells nahezu auf dem ursprünglichen Niveau halte. Das sind Zusammenfassungen der im Abstract berichteten Ergebnisse; der bereitgestellte Auszug enthält weder konkrete Messwerte noch Angaben zu Vergleichsverfahren, Versuchsdetails oder statistischer Unsicherheit. Daher lassen sich die Stärke und Reichweite dieser Ergebnisse anhand dieses Textes allein nicht unabhängig beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %Hintergrund, keine Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 31 %beantwortet teilweise oder widerspricht
    • amos 24 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 26 %gleiches Oberthema, hilft nicht
    • d3-ultra 45 %gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %Hintergrund, keine Belege
    • amos 52 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →