Rethinking Example Selection in the Era of Million-Token Models
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der Bericht enthält nur Metadaten und das Abstract, nicht den vollständigen Artikel. Darin wird ein Vergleich von Auswahlverfahren für In-Context-Learning-Beispiele bei Modellen mit unterschiedlich langen Kontexten sowie eine Reihe ergänzender Skalierungs- und Perturbationsexperimente beschrieben; konkrete Ergebnisse werden im Auszug nicht genannt.
Mittel
Der bereitgestellte Bericht ist ein Auszug mit Metadaten und Abstract, nicht der vollständige Artikel. Er beschreibt eine Untersuchung dazu, ob traditionelle Verfahren zur Auswahl von In-Context-Learning-Beispielen auch bei Modellen mit sehr langen Kontexten funktionieren. Diese Verfahren berücksichtigen laut Abstract sowohl die Ähnlichkeit der Beispiele zur Testeingabe als auch die Vielfalt der ausgewählten Menge.
Verglichen werden Flan-PaLM 2, Gemini und Gemini 1.5 Pro anhand von mehr als zehn Aufgaben und verschiedenen Abrufmethoden. Das Abstract nennt außerdem Experimente zur steigenden Zahl von Beispielen, zu Ergänzungen mit Zero-Shot-Vorhersagen, zur dynamischen Erzeugung neuer Beispiele und zur Größe des Beispielpools bei festem Kontextfenster. Eine Perturbationsanalyse soll das kompositionale Verständnis der Modelle und den Einfluss der Zieltextverteilung beleuchten. Konkrete Resultate oder Schlussfolgerungen enthält der bereitgestellte Auszug nicht.
Ausführlich lesen
Der bereitgestellte Bericht enthält nur Metadaten und das Abstract der Arbeit „Rethinking Example Selection in the Era of Million-Token Models“, nicht den vollständigen Artikel. Daher lässt sich aus diesem Text vor allem die Fragestellung und das geplante beziehungsweise beschriebene Untersuchungsprogramm zusammenfassen; konkrete Ergebnisse oder Schlussfolgerungen der Experimente sind hier nicht aufgeführt.
Die Arbeit behandelt In-Context Learning (ICL) mit Sprachmodellen, die sehr lange Kontexte verarbeiten können. Laut Abstract ermöglichen solche Modelle, Hunderte oder Tausende Beispiele als Demonstrationen in den Eingabekontext aufzunehmen. Untersucht wird, ob herkömmliche Strategien zur Auswahl dieser Beispiele auch in diesem größeren Maßstab sinnvoll bleiben. Solche Strategien berücksichtigen häufig sowohl die Ähnlichkeit der Beispiele zur Testeingabe, etwa mithilfe eines Text-Retrievers, als auch die Vielfalt innerhalb der ausgewählten Beispielmenge.
Als Vorgehen nennt das Abstract einen Vergleich von Modellen mit kurzen, langen und besonders langen Kontexten: Flan-PaLM 2, Gemini und Gemini 1.5 Pro. Die Untersuchungen umfassen laut Text mehr als zehn nachgelagerte Aufgaben und verschiedene Abrufmethoden. Außerdem beschreibt das Abstract Experimente dazu, wie sich die Leistung verändert, wenn die Zahl der ICL-Beispiele steigt, wenn Beispiele um ihre Zero-Shot-Vorhersagen ergänzt werden oder wenn neue Beispiele dynamisch erzeugt werden. Ein weiterer Versuchsansatz hält das ICL-Kontextfenster fest und variiert stattdessen die Größe des Beispielpools.
Zusätzlich erwähnt das Abstract eine Perturbationsanalyse. Sie soll das kompositionale Verständnis der Modelle mit besonders langem Kontext untersuchen und den Einfluss der Verteilung der Zieltexte betrachten. Der vorliegende Auszug berichtet jedoch nicht, welche Resultate diese Vergleiche, Skalierungen oder Analysen ergeben haben. Aussagen darüber, welche Auswahlstrategie am besten abschneidet oder wie stark sich die Leistung verändert, wären daher durch den bereitgestellten Text nicht belegt.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug