Step-Back Prompting Enables Reasoning via Abstraction in Large Language Models
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der vorliegende Bericht ist ein Auszug: Er beschreibt „Step-Back Prompting“, bei dem Sprachmodelle erst allgemeine Prinzipien aus konkreten Beispielen ableiten und diese dann zum Schlussfolgern verwenden sollen. Laut Abstract erzielte das Verfahren in Tests mit PaLM-2 bei mehreren Aufgaben Leistungszuwächse; nähere Angaben zu Versuchsaufbau und Unsicherheiten enthält der Auszug nicht.
Mittel
Der vorliegende Bericht ist ein Auszug aus einer Veröffentlichung und umfasst den Abstract sowie Angaben zu Autorinnen und Autoren und zum Veröffentlichungsort. Er beschreibt „Step-Back Prompting“: Ein Sprachmodell soll zunächst aus konkreten Beispielen übergeordnete Konzepte und grundlegende Prinzipien ableiten und diese anschließend für seine Lösungsschritte nutzen. Den Autorinnen und Autoren zufolge unterstützt das die Modelle dabei, einen passenden Schlussfolgerungsweg zu finden.
Das Team untersuchte die Technik laut Abstract mit PaLM-2-Modellen bei Aufgaben aus MINT, Wissensfragen und mehrstufigem Schlussfolgern. Der Auszug berichtet von Leistungszuwächsen für PaLM-2L: 7 Prozent bei MMLU Physics, 11 Prozent bei MMLU Chemistry, 34 Prozent bei TimeQA und 7 Prozent bei MuSiQue. Angaben zu Versuchsaufbau, Vergleichsbedingungen, Bedeutung der Prozentwerte oder Unsicherheiten fehlen im Auszug. Die Ergebnisse sind daher hier nur als Aussagen der Autorinnen und Autoren wiedergegeben.
Ausführlich lesen
Der vorliegende Bericht ist ein Auszug: Er enthält den Abstract sowie Angaben zu Autorinnen und Autoren und zum Veröffentlichungsort, aber keine vollständige Darstellung der Studie. Beschrieben wird „Step-Back Prompting“, eine Prompting-Technik für große Sprachmodelle. Sie soll das Modell zunächst dazu bringen, aus konkreten, detailreichen Beispielen übergeordnete Konzepte und grundlegende Prinzipien abzuleiten. Diese Abstraktionen werden anschließend als Orientierung für die weiteren Lösungsschritte verwendet. Den Autorinnen und Autoren zufolge hilft dieses Vorgehen den Modellen, einen passenden Schlussfolgerungsweg einzuschlagen.
Laut Abstract untersuchte das Team die Technik mit PaLM-2-Modellen an anspruchsvollen Aufgaben aus den Bereichen MINT, Wissensfragen und mehrstufiges Schlussfolgern. Der Bericht behauptet deutliche Leistungszuwächse. Als Beispiele nennt er für PaLM-2L Verbesserungen um 7 Prozent bei MMLU Physics, 11 Prozent bei MMLU Chemistry, 34 Prozent bei TimeQA und 7 Prozent bei MuSiQue.
Der Auszug liefert keine Angaben zu Versuchsaufbau, Vergleichsbedingungen, Definition der Prozentwerte oder Unsicherheiten der Ergebnisse. Daher lassen sich Umfang und Aussagekraft der berichteten Verbesserungen anhand dieses Textes allein nicht näher beurteilen. Die Aussagen zu Nutzen und Leistungssteigerungen sind die Zusammenfassung der Autorinnen und Autoren im Abstract, keine unabhängig überprüften Schlussfolgerungen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 70 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 69 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug