Premise Order Matters in Reasoning with Large Language Models
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Abstract-Auszug berichtet, dass große Sprachmodelle bei Schlussfolgerungsaufgaben stark von der Reihenfolge der Prämissen abhängen und Umordnungen die Genauigkeit deutlich senken können. Auch für den neu vorgestellten, auf GSM8K basierenden Benchmark R-GSM melden die Forschenden einen Rückgang; Details zu Methoden und Auswertung enthält der Auszug nicht.
Mittel
Der bereitgestellte Text ist ein Auszug aus dem Abstract einer arXiv-Arbeit über den Einfluss der Prämissenreihenfolge auf das Schlussfolgern großer Sprachmodelle. Die Autorinnen und Autoren berichten, dass Modelle empfindlich darauf reagieren, in welcher Reihenfolge dieselben Prämissen erscheinen. Besonders gut seien ihre Ergebnisse, wenn die Reihenfolge zu den benötigten Zwischenschritten passt. Bei deduktiven Aufgaben könne eine Umordnung trotz ordentlicher Leistung in der optimalen Anordnung die Genauigkeit um mehr als 30 Prozent senken.
Außerdem stellen die Forschenden R-GSM vor, einen auf GSM8K beruhenden Benchmark für mathematisches Problemlösen. Auch dort beobachten sie laut Abstract einen deutlichen Genauigkeitsrückgang gegenüber den ursprünglichen GSM8K-Aufgaben. Der Auszug nennt keine näheren Einzelheiten zu Versuchsaufbau, Auswertung oder statistischer Absicherung; diese Grenzen erlauben keine weitergehenden Schlüsse aus dem vorliegenden Text.
Ausführlich lesen
Der bereitgestellte Text ist ein Auszug aus dem Abstract der auf arXiv veröffentlichten Arbeit „Premise Order Matters in Reasoning with Large Language Models“ von Xinyun Chen, Ryan A. Chi, Xuezhi Wang und Denny Zhou. Er berichtet über die Empfindlichkeit großer Sprachmodelle gegenüber der Reihenfolge von Prämissen, obwohl deren Umordnung die zugrunde liegende Aufgabe nicht verändert.
Die Autorinnen und Autoren geben an, dass Modelle besonders gut abschneiden, wenn die Prämissenfolge zu den Zwischenschritten passt, die für die Herleitung einer Lösung benötigt werden. Als Beispiel nennen sie deduktive Aufgaben: Werden die Prämissen in derselben Reihenfolge präsentiert wie im korrekten Beweis, steige die Genauigkeit gegenüber einer zufälligen Anordnung deutlich. Die Untersuchung vergleicht laut Abstract verschiedene Sprachmodelle und betrachtet mehrere deduktive Aufgaben. Selbst bei ordentlicher Leistung mit einer optimalen Reihenfolge könne eine Umordnung die Ergebnisse um mehr als 30 Prozent verschlechtern.
Zusätzlich stellen die Forschenden den Benchmark R-GSM vor, der auf GSM8K basiert und den Einfluss der Aufgaben- beziehungsweise Prämissenreihenfolge beim mathematischen Problemlösen untersuchen soll. Auch dort berichten sie von einem deutlichen Genauigkeitsrückgang im Vergleich zu den ursprünglichen GSM8K-Aufgaben.
Der vorliegende Text enthält jedoch nur den Abstract und bibliografische Angaben. Er beschreibt weder die konkreten Versuchsaufbauten und Stichproben noch die genaue Berechnung des Rückgangs von über 30 Prozent oder detaillierte Resultate zu R-GSM. Daher lassen sich aus diesem Auszug keine weitergehenden Aussagen zu Ursachen, statistischer Absicherung oder zur Übertragbarkeit der Befunde ableiten.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 32 %gleiches Oberthema, hilft nicht
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht