Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind17. April 2024 · Q005933

Many-Shot In-Context Learning

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Berichtsauszug enthält nur das Abstract: Demnach verbessert eine große Zahl von Beispielen im Kontext die Leistung von Sprachmodellen und kann auch mit modellgenerierten oder ganz ohne Begründungen wirksam sein. Der Abstract berichtet zudem über mögliche Vorteile bei komplexem Schlussfolgern und numerischen Aufgaben, nennt aber keine konkreten Versuchsdetails oder Messwerte.

Mittel

Der vorliegende Berichtsauszug enthält nur das Abstract eines arXiv-Beitrags über Many-Shot In-Context-Learning (ICL), nicht den vollständigen Artikel. ICL nutzt Beispiele im Eingabekontext, ohne während der Inferenz die Modellgewichte zu verändern. Laut Abstract führt der Übergang von wenigen zu Hunderten oder Tausenden Beispielen bei vielen generativen und diskriminativen Aufgaben zu deutlichen Leistungssteigerungen.

Um den Bedarf an menschlich erstellten Antworten und Begründungen zu senken, beschreibt der Beitrag zwei Varianten: „Reinforced ICL“ verwendet modellgenerierte Begründungsketten; „Unsupervised ICL“ verzichtet ganz auf Begründungen und gibt nur aufgabenspezifische Eingaben vor. Beide Ansätze seien besonders bei komplexen Schlussfolgerungsaufgaben wirksam. Der Abstract behauptet außerdem, Many-Shot-Lernen könne Vorannahmen aus dem Vortraining überwinden und hochdimensionale Funktionen mit Zahlenwerten lernen. Zugleich stelle der Next-Token-Prediction-Verlust kein zuverlässiges alleinstehendes Maß für den späteren Aufgabenerfolg dar. Angaben zu konkreten Versuchen und Messwerten fehlen in diesem Auszug.

Ausführlich lesen

Der vorliegende Berichtsauszug besteht aus dem Abstract eines arXiv-Beitrags zu „Many-Shot In-Context Learning“; der vollständige Artikel liegt hier nicht vor. Untersucht wird, wie Sprachmodelle beim In-Context-Learning (ICL) von wenigen auf Hunderte oder Tausende Beispiele im Eingabekontext wechseln. Dabei werden während der Inferenz keine Modellgewichte angepasst. Laut Abstract steigt die Leistung durch mehr Beispiele bei einer Vielzahl generativer und diskriminativer Aufgaben deutlich.

Als mögliche Engstelle nennt der Abstract die begrenzte Verfügbarkeit von Antworten und Begründungen, die Menschen erstellt haben. Die Autorinnen und Autoren beschreiben zwei Ansätze, die diesen Bedarf verringern sollen: Beim „Reinforced ICL“ werden von einem Modell erzeugte Begründungsketten statt menschlicher Begründungen in den Kontext aufgenommen. Beim „Unsupervised ICL“ entfallen Begründungen; das Modell erhält nur aufgabenspezifische Eingaben. Der Abstract berichtet, beide Ansätze könnten im Many-Shot-Bereich wirksam sein, besonders bei anspruchsvollen Schlussfolgerungsaufgaben.

Weiterhin behauptet der Abstract, Many-Shot-Lernen könne – anders als Few-Shot-Lernen – Vorannahmen aus dem Vortraining wirksam überschreiben und hochdimensionale Funktionen mit numerischen Eingaben lernen. Die Analyse weise außerdem auf Grenzen des Next-Token-Prediction-Verlusts als Maß für die spätere Aufgabenleistung hin.

Der Auszug liefert keine Einzelheiten zu Versuchsaufbau, Datensätzen, konkreten Messwerten oder den Grenzen der einzelnen Experimente. Die genannten Ergebnisse lassen sich daher hier nicht unabhängig im Detail einordnen. Als Autorinnen und Autoren nennt der Bericht Rishabh Agarwal und weitere Forschende; als Publikationsort ist arXiv angegeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 64 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →