Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi31. Mai 2025 · Q002574

Existing Large Language Model unlearning evaluations are inconclusive

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Text enthält nur den Abstract einer Arbeit, deren Autoren Schwächen gängiger Bewertungen von Machine Unlearning behaupten: Tests könnten Wissen neu vermitteln, je nach Aufgabe stark abweichende Resultate liefern oder auf Scheinkorrelationen beruhen. Sie schlagen minimale Informationszufuhr und die Beachtung nachgelagerter Aufgaben vor; Einzelheiten zu den Experimenten fehlen im Auszug.

Mittel

Der bereitgestellte Quelltext enthält nur den Abstract einer Forschungsarbeit über die Bewertung von Machine Unlearning bei großen Sprachmodellen. Die Autoren stellen frühere Befunde infrage, nach denen entferntes Wissen oft leicht wiederhergestellt werden könne, und benennen drei Probleme mit gängigen Tests: Sie können beim Prüfen neue Informationen vermitteln und so Unlearning verdecken, liefern je nach Aufgabe stark unterschiedliche Ergebnisse und beruhen teils auf Scheinkorrelationen.

Daher könnten aktuelle Bewertungsprotokolle den Erfolg des Unlearning sowohl über- als auch unterschätzen. Als Grundsätze für künftige Prüfungen schlagen die Autoren eine möglichst geringe Informationszufuhr und die Berücksichtigung nachgelagerter Aufgaben vor. Laut Abstract zeigen gezielte Experimente, dass Verstöße gegen diese Grundsätze irreführende Schlussfolgerungen begünstigen können.

Da der vollständige Artikel und die Versuchseinzelheiten im bereitgestellten Text fehlen, lassen sich Methoden, Datengrundlage und quantitative Ergebnisse daraus nicht näher beurteilen.

Ausführlich lesen

Der bereitgestellte Quelltext enthält im Wesentlichen den Abstract einer Forschungsarbeit von Zhili Feng und Mitautoren; der vollständige Artikel liegt hier nicht vor. Die Arbeit untersucht, wie zuverlässig gängige Verfahren zur Bewertung von Machine Unlearning bei großen Sprachmodellen sind. Dabei geht es um Methoden, mit denen sensible oder unerwünschte Informationen aus einem Modell entfernt werden sollen.

Die Autoren stellen die Aussagekraft früherer Bewertungen infrage, denen zufolge entferntes Wissen häufig leicht wiederhergestellt werden könne. Ihrer Darstellung nach haben bestehende Prüfverfahren mehrere Schwächen: Manche Tests führen während der Bewertung erhebliche zusätzliche Informationen in das Modell ein. Dadurch könnte das Wissen beim Testen erneut vermittelt und die tatsächliche Unlearning-Leistung verdeckt werden. Außerdem unterscheiden sich die Ergebnisse deutlich je nach Aufgabe, was die Verallgemeinerbarkeit etablierter Bewertungsroutinen einschränkt. Schließlich stützen sich viele Bewertungen laut den Autoren auf Scheinkorrelationen, wodurch Resultate schwer zu deuten und weniger vertrauenswürdig seien.

Die Autoren folgern, dass aktuelle Protokolle den Erfolg des Unlearning sowohl über- als auch unterschätzen können. Als Leitlinien für künftige Bewertungen schlagen sie vor, möglichst wenige Informationen in das Modell einzuspeisen und die nachgelagerten Aufgaben zu berücksichtigen. Nach dem Abstract prüfen sie diese Prinzipien mit gezielten Experimenten und zeigen, dass Verstöße gegen beide zu irreführenden Schlussfolgerungen führen können.

Die im Quelltext belegte Reichweite ist begrenzt: Er enthält nur den Abstract und eine kurze Seitenansicht, keine ausführliche Beschreibung der Experimente, ihrer Datengrundlage oder quantitativer Ergebnisse. Die Aussagen zu den Schwächen und vorgeschlagenen Prinzipien sind daher als Behauptungen beziehungsweise Schlussfolgerungen der Autoren wiedergegeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 35 %einzelne zitierbare Belege
    • JEV 49 %beantwortet teilweise oder widerspricht
    • amos 25 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →