Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind23. September 2023 · Q005757

Theoretical and Practical Perspectives on what Influence Functions Do

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Auszug ist das Abstract einer Arbeit zu Influence Functions: Laut Autoren sinkt der Einfluss einzelner Trainingsbeispiele im Trainingsverlauf, doch wenige Feinabstimmungsschritte auf einflussreichen Beispielen konnten in Sprach- und Bildaufgaben Fehlvorhersagen korrigieren. Da nur Abstract und Metadaten vorliegen, fehlen Details zu Methoden und Ergebnissen.

Mittel

Der bereitgestellte Bericht enthält bibliografische Angaben und das Abstract einer NeurIPS-2023-Arbeit über Influence Functions (IF). Diese sollen erklären, welche Trainingsbeispiele Modellvorhersagen beeinflussen. Laut Abstract sagen bestehende Verfahren jedoch schlecht voraus, was beim Entfernen eines einzelnen Beispiels und erneutem Training geschieht.

Die Autoren untersuchen fünf Annahmen, die bei großen neuronalen Netzen problematisch sein können, darunter Konvexität, numerische Stabilität, Trainingsverlauf und Parameterdivergenz. Ihrer Analyse zufolge lässt sich mit den meisten Problemen umgehen. Eine wesentliche Grenze bleibt: Der Einfluss von Beispielen nimmt im Lauf des Trainings ab, sogar bei deterministischem Training. Der Abstract veranschaulicht diesen Befund mit BERT und ResNet.

Gleichzeitig berichten die Autoren, dass IF beim Debugging und Korrigieren nützlich sein können: In Aufgaben der Sprachverarbeitung und Computer Vision seien Fehlvorhersagen durch wenige Feinabstimmungsschritte auf einflussreichen Beispielen korrigiert worden. Es liegt nur der Abstract mit Metadaten vor; Versuchsdetails und quantitative Ergebnisse sind daher nicht enthalten.

Ausführlich lesen

Der bereitgestellte Bericht besteht aus bibliografischen Angaben und dem Abstract einer für NeurIPS 2023 angegebenen Arbeit. Er behandelt Influence Functions (IF), die dazu dienen sollen, den Einfluss von Trainingsbeispielen auf Modellvorhersagen zu erklären. Eine angenommene Anwendung ist, problematische Vorhersagen zu korrigieren, indem man einflussreiche Trainingsbeispiele entfernt oder bearbeitet und das Modell anschließend neu trainiert.

Laut Abstract haben jüngere empirische Untersuchungen jedoch gezeigt, dass bestehende Verfahren den Effekt eines Weglassens einzelner Beispiele mit anschließendem erneuten Training schlecht vorhersagen. Um diese Lücke zwischen theoretischem Anspruch und praktischer Leistung zu untersuchen, analysieren die Autorinnen und Autoren fünf Annahmen der IF-Verfahren, die bei großen neuronalen Netzen problematisch sein können. Genannt werden Annahmen zu Konvexität, numerischer Stabilität, Trainingsverlauf und Auseinanderlaufen der Parameter.

Die Analyse soll laut Abstract klären, was sich theoretisch von IF erwarten lässt. Die meisten untersuchten Annahmen könnten demnach erfolgreich behandelt werden. Eine klare Einschränkung sehen die Autoren beim Auseinanderlaufen der Parameter: Der Einfluss eines Beispiels nehme im Verlauf des Trainings ab, selbst wenn deterministisch trainiert werde. Diesen theoretischen Befund veranschaulichen sie mit BERT- und ResNet-Modellen.

Zugleich berichtet das Abstract, dass IF trotz nicht erfüllter Annahmen aus früheren Arbeiten für das Debugging und die Korrektur von Modellen nützlich sein können. In Aufgaben aus der Sprachverarbeitung und Computer Vision seien Fehlvorhersagen erfolgreich korrigiert worden, indem nur wenige Feinabstimmungsschritte anhand einflussreicher Beispiele ausgeführt wurden.

Die Zusammenfassung beruht ausschließlich auf dem bereitgestellten Abstract und den Metadaten; der Volltext liegt hier nicht vor. Daher enthält der Auszug keine näheren Angaben zu den fünf Annahmen, zum Versuchsaufbau, zu Messwerten oder dazu, unter welchen konkreten Bedingungen die Korrekturen gelingen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 42 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %beantwortet teilweise oder widerspricht
    • amos 23 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 41 %gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →