Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind14. Februar 2024 · Q005919

Premise Order Matters in Reasoning with Large Language Models

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Abstract-Auszug berichtet, dass große Sprachmodelle bei Schlussfolgerungsaufgaben stark von der Reihenfolge der Prämissen abhängen und Umordnungen die Genauigkeit deutlich senken können. Auch für den neu vorgestellten, auf GSM8K basierenden Benchmark R-GSM melden die Forschenden einen Rückgang; Details zu Methoden und Auswertung enthält der Auszug nicht.

Mittel

Der bereitgestellte Text ist ein Auszug aus dem Abstract einer arXiv-Arbeit über den Einfluss der Prämissenreihenfolge auf das Schlussfolgern großer Sprachmodelle. Die Autorinnen und Autoren berichten, dass Modelle empfindlich darauf reagieren, in welcher Reihenfolge dieselben Prämissen erscheinen. Besonders gut seien ihre Ergebnisse, wenn die Reihenfolge zu den benötigten Zwischenschritten passt. Bei deduktiven Aufgaben könne eine Umordnung trotz ordentlicher Leistung in der optimalen Anordnung die Genauigkeit um mehr als 30 Prozent senken.

Außerdem stellen die Forschenden R-GSM vor, einen auf GSM8K beruhenden Benchmark für mathematisches Problemlösen. Auch dort beobachten sie laut Abstract einen deutlichen Genauigkeitsrückgang gegenüber den ursprünglichen GSM8K-Aufgaben. Der Auszug nennt keine näheren Einzelheiten zu Versuchsaufbau, Auswertung oder statistischer Absicherung; diese Grenzen erlauben keine weitergehenden Schlüsse aus dem vorliegenden Text.

Ausführlich lesen

Der bereitgestellte Text ist ein Auszug aus dem Abstract der auf arXiv veröffentlichten Arbeit „Premise Order Matters in Reasoning with Large Language Models“ von Xinyun Chen, Ryan A. Chi, Xuezhi Wang und Denny Zhou. Er berichtet über die Empfindlichkeit großer Sprachmodelle gegenüber der Reihenfolge von Prämissen, obwohl deren Umordnung die zugrunde liegende Aufgabe nicht verändert.

Die Autorinnen und Autoren geben an, dass Modelle besonders gut abschneiden, wenn die Prämissenfolge zu den Zwischenschritten passt, die für die Herleitung einer Lösung benötigt werden. Als Beispiel nennen sie deduktive Aufgaben: Werden die Prämissen in derselben Reihenfolge präsentiert wie im korrekten Beweis, steige die Genauigkeit gegenüber einer zufälligen Anordnung deutlich. Die Untersuchung vergleicht laut Abstract verschiedene Sprachmodelle und betrachtet mehrere deduktive Aufgaben. Selbst bei ordentlicher Leistung mit einer optimalen Reihenfolge könne eine Umordnung die Ergebnisse um mehr als 30 Prozent verschlechtern.

Zusätzlich stellen die Forschenden den Benchmark R-GSM vor, der auf GSM8K basiert und den Einfluss der Aufgaben- beziehungsweise Prämissenreihenfolge beim mathematischen Problemlösen untersuchen soll. Auch dort berichten sie von einem deutlichen Genauigkeitsrückgang im Vergleich zu den ursprünglichen GSM8K-Aufgaben.

Der vorliegende Text enthält jedoch nur den Abstract und bibliografische Angaben. Er beschreibt weder die konkreten Versuchsaufbauten und Stichproben noch die genaue Berechnung des Rückgangs von über 30 Prozent oder detaillierte Resultate zu R-GSM. Daher lassen sich aus diesem Auszug keine weitergehenden Aussagen zu Ursachen, statistischer Absicherung oder zur Übertragbarkeit der Befunde ableiten.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →