Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind12. Dezember 2023 · Q005705

Schema-learning and rebinding as mechanisms of in-context learning and emergence

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Text ist nur ein Auszug aus dem Abstract eines NeurIPS-Beitrags von 2023. Die Autorinnen und Autoren berichten, dass interpretierbare CSCGs ICL durch erlernte Vorlagen, deren kontextabhängigen Abruf und die Zuordnung neuer Tokens umsetzen können; ähnliche Mechanismen in Sprachmodellen bleiben eine Hypothese. Der Auszug enthält keine Versuchsdetails oder Messwerte.

Mittel

Der bereitgestellte Text ist ein Auszug aus dem Abstract eines NeurIPS-Beitrags von 2023; Einzelheiten des vollständigen Artikels fehlen. Die Autorinnen und Autoren untersuchen mögliche Mechanismen des In-Context Learning (ICL), also der Fähigkeit, aus dem Kontext Muster zu erschließen. Sie berichten, dass clone-structured causal graphs (CSCGs), eine alternative Methode des Sequenzvorhersage-Lernens, vergleichbare Fähigkeiten wie transformerbasierte Sprachmodelle zeigen können und leichter interpretierbar seien.

Dem Abstract zufolge beruht ICL in CSCGs auf drei Schritten: Das Modell lernt Vorlagen für Mustervervollständigung, ruft kontextabhängig geeignete Vorlagen ab und bindet neue Tokens an passende Stellen darin. Die Forschenden sehen Hinweise, dass ähnliche Vorgänge auch in Sprachmodellen auftreten könnten; dies wird als Hypothese bezeichnet. Außerdem berichten sie, dass verschiedene Fähigkeiten bei unterschiedlichen Graden der Überparametrisierung hervortreten, und vermuten, dass mehr Modellkapazität komplexere Vorlagen ermöglicht. Sie geben an, ICL mit kleinen Modellen und Datensätzen erreicht zu haben. Versuchsdetails und Messwerte enthält der Auszug nicht, daher lassen sich Stärke und Reichweite der Befunde daraus nicht beurteilen.

Ausführlich lesen

Der bereitgestellte Text ist ein Auszug: Er enthält Metadaten, einen Link zur Veröffentlichung sowie den Abstract eines 2023 auf der NeurIPS erschienenen Beitrags. Eine vollständige Darstellung von Methode, Experimenten oder Ergebnissen liegt hier nicht vor.

Die Autorinnen und Autoren untersuchen, wie In-Context Learning (ICL) in großen Sprachmodellen funktionieren könnte. ICL bezeichnet hier die Fähigkeit, aus dem gegebenen Kontext Muster oder Aufgaben zu erschließen. Laut Abstract seien die Mechanismen dahinter bislang nur unzureichend verstanden. Als untersuchbares Modell führen die Forschenden clone-structured causal graphs (CSCGs) an: Mit dieser alternativen Methode des Sequenzvorhersage-Lernens ließen sich vergleichbare ICL-Fähigkeiten erzielen. CSCGs seien interpretierbarer als transformerbasierte Sprachmodelle und erleichterten dadurch die Analyse der zugrunde liegenden Abläufe.

Der Abstract beschreibt drei miteinander verbundene Mechanismen: Das Modell lerne zunächst Vorlagen oder Schemaschaltungen zur Mustervervollständigung. Es rufe dann abhängig vom Kontext passende Vorlagen ab und ordne neue, zuvor unbekannte Tokens den geeigneten Positionen innerhalb dieser Vorlagen zu. Die Autorinnen und Autoren berichten, Hinweise dafür gefunden zu haben, dass ähnliche Mechanismen auch bei ICL in Sprachmodellen eine Rolle spielen könnten. Das wird als Hypothese präsentiert, nicht als abschließend belegter Nachweis.

Als weiteren Befund nennt der Abstract, dass bei CSCGs ebenso wie bei Sprachmodellen verschiedene Fähigkeiten mit unterschiedlichem Grad an Überparametrisierung hervortreten. Die Forschenden deuten dies so, dass zusätzliche Modellkapazität beim Erlernen komplexerer Vorlagen helfen könnte. Zugleich behaupten sie, ICL mit kleinen Modellen und Datensätzen erreichen zu können, und sehen darin einen Ansatzpunkt für neue Architekturen sowie ein besseres Verständnis der Fähigkeit.

Die Grenzen der Zusammenfassung ergeben sich aus dem Material: Der Auszug liefert keine Einzelheiten zu Datensätzen, Modellkonfigurationen, Versuchsaufbau, Messwerten oder möglichen Gegenbefunden. Deshalb lassen sich die berichteten Resultate und die Übertragbarkeit der vorgeschlagenen Mechanismen anhand dieses Textes nicht unabhängig beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →