Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind6. Februar 2024 · Q005252

Large Language Models Self-Discover Reasoning Structures

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Bericht ist nur ein Auszug: Sein Abstract beschreibt SELF-DISCOVER, das Sprachmodelle Denkbausteine zu expliziten, aufgabenbezogenen Schlussfolgerungsstrukturen zusammensetzen lässt. Laut Abstract erzielte das Verfahren auf mehreren Benchmarks bessere Ergebnisse bei geringerem Inferenzaufwand und die Strukturen ließen sich auf kleinere Llama-2-Modelle übertragen; Einzelheiten zum Versuchsaufbau fehlen im Auszug.

Mittel

Dies ist nur ein Auszug aus dem Bericht: enthalten sind der Abstract und bibliografische Angaben, nicht der vollständige Artikel. Der Abstract beschreibt SELF-DISCOVER als Verfahren, bei dem Sprachmodelle grundlegende Denkbausteine auswählen und zu einer expliziten, auf die Aufgabe zugeschnittenen Schlussfolgerungsstruktur zusammensetzen. Diese Struktur soll das Generieren von Antworten steuern und unterscheidet sich laut Autorinnen und Autoren von der eher impliziten Anleitung durch Chain-of-Thought.

Den berichteten Ergebnissen zufolge verbesserte SELF-DISCOVER GPT-4 und PaLM 2 auf Benchmarks wie BigBench-Hard und Thinking4Doing um bis zu 30 Prozent. Über 24 Aufgaben und mehrere Modelle hinweg habe es CoT-Self-Consistency und Mehrheitsabstimmung um mehr als 20 Prozent übertroffen und dabei zehn- bis vierzigmal weniger Inferenzberechnung benötigt. Auch kleinere Llama-2-Modelle hätten von den mit GPT-4 entdeckten Strukturen profitiert. Der Auszug enthält keine Details zum Versuchsaufbau oder zur Einordnung der Messwerte; die Ergebnisse bleiben daher Aussagen des Abstracts.

Ausführlich lesen

Der vorliegende Bericht ist nur ein Auszug: Er enthält den Abstract sowie Angaben zu Autorinnen und Autoren und zum Veröffentlichungsort, nicht den vollständigen Artikel. Die Zusammenfassung kann daher nur die dort berichteten Aussagen wiedergeben.

Der Abstract stellt SELF-DISCOVER als Verfahren vor, mit dem Sprachmodelle für eine Aufgabe eine eigene, ausdrücklich formulierte Struktur zum Schlussfolgern zusammenstellen. Dafür wählen sie mehrere grundlegende Denkbausteine aus, etwa kritisches Denken oder schrittweises Vorgehen, und ordnen sie zu einer auf die jeweilige Aufgabe zugeschnittenen Struktur. Während Chain-of-Thought laut Abstract Schlussfolgern eher implizit anleitet, soll diese Struktur den Modellen beim Generieren der Antwort als explizite Vorgabe dienen. Das Verfahren zielt auf komplexe Schlussfolgerungsaufgaben, bei denen übliche Prompting-Methoden Schwierigkeiten haben.

Den Autorinnen und Autoren zufolge verbesserte SELF-DISCOVER die Ergebnisse von GPT-4 und PaLM 2 auf anspruchsvollen Benchmarks wie BigBench-Hard und Thinking4Doing, in einzelnen berichteten Fällen um bis zu 30 Prozent. Außerdem habe es über 24 Aufgaben und mehrere Sprachmodelle hinweg Methoden mit hohem Inferenzaufwand übertroffen, darunter CoT-Self-Consistency und Mehrheitsabstimmung: Der Vorsprung habe mehr als 20 Prozent betragen, während SELF-DISCOVER zehn- bis vierzigmal weniger Inferenzberechnung benötigt habe. Die im Abstract beschriebenen, von GPT-4 entdeckten Schlussfolgerungsstrukturen ließen sich den Angaben zufolge auch auf kleinere Llama-2-Modelle übertragen und hätten deren Schlussfolgerungsfähigkeit verbessert.

Der Auszug berichtet somit sowohl Leistungssteigerungen als auch eine Übertragbarkeit auf kleinere Modelle. Er enthält jedoch keine ausführliche Beschreibung des Versuchsaufbaus, der einzelnen Aufgaben, der Messgrößen oder der Unsicherheiten und Grenzen der Ergebnisse. Die genannten Prozentwerte und Vergleiche sind daher als Behauptungen des Abstracts wiederzugeben; anhand dieses Auszugs allein lassen sie sich nicht näher einordnen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Unabhängig prüfen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 30 %einzelne zitierbare Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 62 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 30 %einzelne zitierbare Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 67 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
Frieden und Sicherheit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →