Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind26. April 2025 · Q006073

Toward Understanding In-context vs. In-weight Learning

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der Bericht besteht nur aus dem Abstract und bibliografischen Angaben zu einem ICLR-2025-Beitrag. Die Autorinnen und Autoren beschreiben ein vereinfachtes Modell, das Bedingungen für In-context- und In-weight-Lernen erklären soll, und berichten von übereinstimmenden Transformer-Experimenten sowie ähnlichem Verhalten nach Prompt-basierter Feinabstimmung eines großen Sprachmodells. Konkrete Messwerte und Versuchsdetails fehlen im Auszug.

Mittel

Der bereitgestellte Bericht enthält nur den Abstract und bibliografische Angaben zum ICLR-2025-Beitrag; der vollständige Artikel liegt nicht vor. Die Autorinnen und Autoren untersuchen, wann Transformer aus dem aktuellen Kontext lernen und wann sie Wissen in ihren Gewichten verankern. Sie knüpfen an empirische Beobachtungen an, wonach In-context learning bei bestimmten Eigenschaften der Trainingsdaten entstehen, durch weiteres Training aber auch abnehmen kann.

Zunächst analysiert die Arbeit ein vereinfachtes Modell, das per Gate zwischen einem kontextbasierten und einem gewichtsgebundenen Vorhersager wählt. Aus Analysen von Generalisierungsfehler und Regret leiten die Forschenden Bedingungen für beide Lernweisen ab. Experimente mit einem vollständigen Transformer auf vereinfachten Datenverteilungen hätten laut Abstract Ergebnisse gezeigt, die mit dem stilisierten Modell übereinstimmen. Auch Feinabstimmung eines großen Sprachmodells mit verschiedenen Sammlungen natürlichsprachlicher Prompts könne ähnliches Verhalten hervorrufen. Der Auszug enthält keine konkreten Bedingungen, Messwerte oder Versuchsdetails; die Tragweite der Befunde ist damit nicht näher prüfbar.

Ausführlich lesen

Der bereitgestellte Bericht umfasst nur den Abstract sowie bibliografische Angaben zum Beitrag „Toward Understanding In-context vs. In-weight Learning“ (ICLR 2025); der vollständige Artikel liegt hier nicht vor.

Die Autorinnen und Autoren untersuchen, unter welchen Bedingungen Transformer aus dem Kontext einer Eingabe lernen („in-context learning“) oder Wissen in ihren Gewichten erwerben („in-weight learning“). Der Abstract verweist auf frühere empirische Beobachtungen: In-context learning könne bei bestimmten Eigenschaften der Trainingsdaten entstehen und durch weiteres Training wieder abnehmen.

Als theoretischen Ansatz analysiert die Arbeit zunächst ein vereinfachtes Modell. Ein Gate wählt darin zwischen einem Vorhersager, der auf den Gewichten beruht, und einem, der den aktuellen Kontext nutzt. Mithilfe von Analysen zu Generalisierungsfehler und Regret leiten die Autorinnen und Autoren laut Abstract Bedingungen ab, unter denen die beiden Lernweisen auftreten. Anschließend vergleichen sie ein vollständiges Transformer-Modell auf vereinfachten Datenverteilungen mit dem stilisierten Modell. Die beobachteten Verläufe stimmten dabei überein, so die Zusammenfassung des Beitrags.

Schließlich erweitere die Arbeit die Untersuchung auf ein großes Sprachmodell. Eine Feinabstimmung mit verschiedenen Sammlungen natürlichsprachlicher Prompts könne laut Abstract ähnliche Verhaltensweisen des In-context- und In-weight-Lernens hervorrufen. Der vorliegende Auszug nennt jedoch weder konkrete Bedingungen noch Messwerte, Datensätze oder Details zur Versuchsanordnung. Daher lassen sich die Ergebnisse und ihre Reichweite anhand des bereitgestellten Materials nicht genauer beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV offen
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →