Large Language Models as Analogical Reasoners
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der Auszug beschreibt einen Ansatz, bei dem Sprachmodelle vor einer Aufgabe selbst passende Beispiele oder Lehren erzeugen. Das Abstract behauptet Leistungsverbesserungen gegenüber Zero-shot- und Few-shot-CoT bei mehreren Aufgaben und nennt durchschnittlich fünf Prozent mehr Genauigkeit; Einzelheiten zu den Experimenten fehlen im Auszug.
Mittel
Der Auszug stellt „analogical reasoning“ vor, einen Prompting-Ansatz, bei dem ein Sprachmodell vor der eigentlichen Aufgabenlösung selbst passende Beispiele oder Lehren im Kontext erzeugt. Laut Abstract soll das den Denkprozess an die jeweilige Aufgabe anpassen und ohne manuell annotierte Denkbeispiele oder externe Datenabfrage auskommen.
Das Abstract berichtet bessere Ergebnisse als Zero-shot- und Few-shot-Chain-of-Thought-Prompting bei Mathematikaufgaben in GSM8K und MATH, Codegenerierung in Codeforces und weiteren Aufgaben aus BIG-Bench. Über diese Bereiche hinweg wird ein durchschnittlicher Genauigkeitszuwachs von fünf Prozent angegeben. Der Bericht liegt hier nur als Auszug mit Abstract sowie Autoren- und Publikationsangaben vor; Versuchsaufbau, Einzelwerte und Unsicherheiten werden darin nicht erläutert. Als Publikationsort nennt der Auszug arXiv.
Ausführlich lesen
Der vorliegende Bericht ist ein Auszug: Er enthält das Abstract sowie Angaben zu Autorinnen und Autoren und zum Publikationsort, aber keine ausführliche Beschreibung der Experimente. Das Abstract stellt einen Ansatz namens „analogical reasoning“ für Sprachmodelle vor. Er soll den Denkprozess vor der Bearbeitung einer Aufgabe automatisch unterstützen: Das Modell erzeugt zunächst selbst passende Beispiele oder Lehren im Kontext und löst anschließend die Aufgabe. Die Idee orientiert sich laut Abstract daran, dass Menschen bei neuen Herausforderungen auf relevante Erfahrungen zurückgreifen.
Als Vorteile nennt der Bericht, dass dafür weder manuell annotierte Denkbeispiele noch eine externe Datenabfrage nötig seien. Die selbst erzeugten Beispiele sollen zudem auf die jeweilige Aufgabe zugeschnitten sein. Dem Abstract zufolge übertraf der Ansatz in mehreren Aufgabenbereichen Zero-shot- und Few-shot-Chain-of-Thought-Prompting. Genannt werden Mathematikaufgaben in GSM8K und MATH, Codegenerierung in Codeforces sowie weitere Schlussfolgerungsaufgaben in BIG-Bench. Über diese Bereiche hinweg berichtet das Abstract einen durchschnittlichen Genauigkeitszuwachs von fünf Prozent.
Der Auszug legt weder Versuchsaufbau und Vergleichsbedingungen noch Einzelwerte oder Unsicherheiten dar. Daher lassen sich die berichteten Leistungsgewinne anhand des vorliegenden Textes nicht näher beurteilen. Als Publikationsort ist arXiv angegeben.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug