Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind4. März 2024 · Q005504

AtP*: Efficient and scalable methods for localizing LLM behaviour to components

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Text ist nur der Abstract eines arXiv-Beitrags. Die Autoren stellen AtP* als skalierbare Verbesserung einer gradientenbasierten Vorauswahl für Activation Patching vor und behaupten, damit relevante Modellkomponenten zuverlässiger zu finden sowie verbleibende falsch negative Befunde abschätzen zu können; konkrete Versuchsdaten enthält der Auszug nicht.

Mittel

Der bereitgestellte Text ist nur der Abstract eines arXiv-Beitrags, kein vollständiger Bericht. Die Autoren untersuchen, wie sich Verhalten großer Sprachmodelle kausal einzelnen Komponenten zuordnen lässt. Activation Patching kann dafür laut Abstract sehr aufwendig werden, weil der Rechenaufwand mit der Zahl der untersuchten Komponenten wächst und bei großen Modellen Millionen bis Milliarden Vorwärtsdurchläufe erfordern kann.

Attribution Patching (AtP) dient als gradientenbasierte, skalierbare Vorauswahl mit konstantem Durchlaufaufwand. Die Autoren berichten, dass AtP in zwei Arten von Fällen relevante Komponenten übersieht. Ihre Variante AtP* soll diese Fehlermodi durch zwei Änderungen verringern. Dem Abstract zufolge schneidet AtP besser ab als die untersuchten Alternativen und AtP* verbessert es weiter. Zusätzlich beschreiben die Autoren ein Verfahren, um den verbleibenden Fehler von AtP* abzuschätzen und die Wahrscheinlichkeit weiterer falsch negativer Befunde zu begrenzen. Einzelheiten zu Experimenten, Messwerten und Grenzen der Abschätzung fehlen im vorliegenden Auszug; die Ergebnisse sind somit Autorenangaben.

Ausführlich lesen

Der bereitgestellte Text enthält Metadaten und den Abstract eines arXiv-Beitrags mit dem Titel „AtP*: Efficient and scalable methods for localizing LLM behaviour to components“. Es handelt sich um einen Auszug, nicht um den vollständigen Bericht. Die Autoren behandeln die Frage, wie sich beobachtetes Verhalten eines Sprachmodells kausal bestimmten Komponenten zuordnen lässt. Als verbreitete Methode beschreiben sie Activation Patching. Dessen Aufwand wächst laut Abstract linear mit der Zahl der untersuchten Komponenten und kann bei großen Modellen Millionen bis Milliarden Vorwärtsdurchläufe erfordern.

Als schnellere Vorauswahl untersuchen die Autoren Attribution Patching (AtP), eine gradientenbasierte Näherung, die laut Abstract mit einer konstanten Zahl von Durchläufen auskommt. Sie berichten jedoch von zwei Arten von Fehlermodi, durch die AtP relevante Komponenten übersehen kann (falsch negative Ergebnisse). Als Gegenmaßnahme schlagen sie AtP* vor, eine Variante mit zwei Änderungen, die diese Fehlermodi adressieren und zugleich skalierbar bleiben soll.

Der Abstract behauptet, die Arbeit biete die erste systematische Untersuchung von AtP und anderen Verfahren zur Beschleunigung von Activation Patching. Den Autoren zufolge übertrifft AtP die untersuchten Alternativen deutlich; AtP* verbessere die Ergebnisse nochmals deutlich. Außerdem stellen sie ein Verfahren vor, mit dem sich der verbleibende Fehler von AtP* abschätzen und die Wahrscheinlichkeit noch vorhandener falsch negativer Befunde begrenzen lasse.

Da nur der Abstract vorliegt, enthält der bereitgestellte Text keine näheren Angaben zu den konkreten Experimenten, Datensätzen, Messwerten, den beiden Änderungen an AtP oder den Bedingungen und der Genauigkeit der Fehlerabschätzung. Die berichteten Leistungs- und Neuheitsangaben sind daher als Aussagen der Autoren wiedergegeben, nicht unabhängig überprüfte Ergebnisse.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %Hintergrund, keine Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →