Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind29. November 2023 · Q005444

Universal Self-Consistency with Large Language Models

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Bericht ist nur ein Auszug mit Abstract und Metadaten. Darin wird USC beschrieben, bei dem ein Sprachmodell die konsistenteste Antwort aus mehreren Kandidaten auswählt; laut Abstract erreicht es bei GSM8K und MATH die übliche Self-Consistency-Leistung und verbessert offene Textgenerierung gegenüber Greedy Decoding. Konkrete Messwerte und Versuchsdetails fehlen.

Mittel

Der bereitgestellte Bericht ist ein Auszug mit Metadaten und Abstract zur arXiv-Arbeit „Universal Self-Consistency with Large Language Models“. Er behandelt das Problem, dass herkömmliche Self-Consistency mehrere modellgenerierte Lösungswege über extrahierte Antworten bündelt, was laut Abstract für frei formulierte Antworten ungeeignet sein kann.

Als Alternative schlagen die Autorinnen und Autoren Universal Self-Consistency (USC) vor: Ein Sprachmodell wählt aus mehreren Kandidaten die konsistenteste Lösung aus. Das Verfahren wurde laut Abstract für mathematisches Schlussfolgern, lange Zusammenfassungen und offene Fragen untersucht. Auf GSM8K und MATH soll USC die Leistung der Standardmethode erreichen, ohne einheitliche Antwortformate vorauszusetzen. Bei offener Textgenerierung soll es Greedy Decoding durchgehend übertreffen.

Der Auszug enthält keine konkreten Zahlen, Angaben zu Versuchsbedingungen oder detaillierten Ergebnisse zu den Zusammenfassungsaufgaben. Die Resultate lassen sich daher anhand dieses Abstracts allein nicht näher bewerten oder unabhängig überprüfen.

Ausführlich lesen

Der bereitgestellte Bericht ist ein Auszug: Er enthält Metadaten und das Abstract der Arbeit „Universal Self-Consistency with Large Language Models“ von Xinyun Chen und weiteren Autorinnen und Autoren. Die Arbeit ist laut Metadaten auf arXiv erschienen. Der Auszug beschreibt ein Verfahren für Aufgaben, bei denen mehrere von einem Sprachmodell erzeugte Antworten oder Lösungswege zusammengeführt werden sollen.

Das Abstract zufolge kann Self-Consistency mit Chain-of-Thought-Prompting die Leistung bei verschiedenen Schlussfolgerungsaufgaben steigern, indem mehrere Lösungswege erzeugt und anschließend zusammengefasst werden. Das herkömmliche Verfahren benötigt dafür eine Antwortextraktion, die sich laut den Autorinnen und Autoren nicht ohne Weiteres auf frei formulierte Antworten übertragen lässt. Als Lösung schlagen sie Universal Self-Consistency (USC) vor: Ein großes Sprachmodell soll aus mehreren Kandidaten diejenige Lösung auswählen, die am konsistentesten erscheint.

Laut Abstract wurde USC bei mathematischem Schlussfolgern, Zusammenfassungen langer Kontexte und offenen Fragen untersucht. Bei den mathematischen Benchmarks GSM8K und MATH soll USC die Leistung der üblichen Self-Consistency erreichen, ohne dass die Antworten in ähnlicher Form vorliegen müssen. Bei Aufgaben zur offenen Textgenerierung soll USC die Leistung gegenüber Greedy Decoding durchgehend verbessern.

Der Auszug nennt weder konkrete Messwerte noch Einzelheiten zu Versuchsaufbau, Modellen, Vergleichsbedingungen oder statistischer Unsicherheit. Daher lassen sich aus dem bereitgestellten Material die Größenordnung und Robustheit der berichteten Effekte nicht beurteilen. Auch enthält es keine näheren Ergebnisse zu den Zusammenfassungsaufgaben. Die Aussagen zu den Resultaten geben somit die Zusammenfassung im Abstract wieder und können anhand dieses Auszugs allein nicht unabhängig geprüft werden.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →