Large Language Models Self-Discover Reasoning Structures
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der vorliegende Bericht ist nur ein Auszug: Sein Abstract beschreibt SELF-DISCOVER, das Sprachmodelle Denkbausteine zu expliziten, aufgabenbezogenen Schlussfolgerungsstrukturen zusammensetzen lässt. Laut Abstract erzielte das Verfahren auf mehreren Benchmarks bessere Ergebnisse bei geringerem Inferenzaufwand und die Strukturen ließen sich auf kleinere Llama-2-Modelle übertragen; Einzelheiten zum Versuchsaufbau fehlen im Auszug.
Mittel
Dies ist nur ein Auszug aus dem Bericht: enthalten sind der Abstract und bibliografische Angaben, nicht der vollständige Artikel. Der Abstract beschreibt SELF-DISCOVER als Verfahren, bei dem Sprachmodelle grundlegende Denkbausteine auswählen und zu einer expliziten, auf die Aufgabe zugeschnittenen Schlussfolgerungsstruktur zusammensetzen. Diese Struktur soll das Generieren von Antworten steuern und unterscheidet sich laut Autorinnen und Autoren von der eher impliziten Anleitung durch Chain-of-Thought.
Den berichteten Ergebnissen zufolge verbesserte SELF-DISCOVER GPT-4 und PaLM 2 auf Benchmarks wie BigBench-Hard und Thinking4Doing um bis zu 30 Prozent. Über 24 Aufgaben und mehrere Modelle hinweg habe es CoT-Self-Consistency und Mehrheitsabstimmung um mehr als 20 Prozent übertroffen und dabei zehn- bis vierzigmal weniger Inferenzberechnung benötigt. Auch kleinere Llama-2-Modelle hätten von den mit GPT-4 entdeckten Strukturen profitiert. Der Auszug enthält keine Details zum Versuchsaufbau oder zur Einordnung der Messwerte; die Ergebnisse bleiben daher Aussagen des Abstracts.
Ausführlich lesen
Der vorliegende Bericht ist nur ein Auszug: Er enthält den Abstract sowie Angaben zu Autorinnen und Autoren und zum Veröffentlichungsort, nicht den vollständigen Artikel. Die Zusammenfassung kann daher nur die dort berichteten Aussagen wiedergeben.
Der Abstract stellt SELF-DISCOVER als Verfahren vor, mit dem Sprachmodelle für eine Aufgabe eine eigene, ausdrücklich formulierte Struktur zum Schlussfolgern zusammenstellen. Dafür wählen sie mehrere grundlegende Denkbausteine aus, etwa kritisches Denken oder schrittweises Vorgehen, und ordnen sie zu einer auf die jeweilige Aufgabe zugeschnittenen Struktur. Während Chain-of-Thought laut Abstract Schlussfolgern eher implizit anleitet, soll diese Struktur den Modellen beim Generieren der Antwort als explizite Vorgabe dienen. Das Verfahren zielt auf komplexe Schlussfolgerungsaufgaben, bei denen übliche Prompting-Methoden Schwierigkeiten haben.
Den Autorinnen und Autoren zufolge verbesserte SELF-DISCOVER die Ergebnisse von GPT-4 und PaLM 2 auf anspruchsvollen Benchmarks wie BigBench-Hard und Thinking4Doing, in einzelnen berichteten Fällen um bis zu 30 Prozent. Außerdem habe es über 24 Aufgaben und mehrere Sprachmodelle hinweg Methoden mit hohem Inferenzaufwand übertroffen, darunter CoT-Self-Consistency und Mehrheitsabstimmung: Der Vorsprung habe mehr als 20 Prozent betragen, während SELF-DISCOVER zehn- bis vierzigmal weniger Inferenzberechnung benötigt habe. Die im Abstract beschriebenen, von GPT-4 entdeckten Schlussfolgerungsstrukturen ließen sich den Angaben zufolge auch auf kleinere Llama-2-Modelle übertragen und hätten deren Schlussfolgerungsfähigkeit verbessert.
Der Auszug berichtet somit sowohl Leistungssteigerungen als auch eine Übertragbarkeit auf kleinere Modelle. Er enthält jedoch keine ausführliche Beschreibung des Versuchsaufbaus, der einzelnen Aufgaben, der Messgrößen oder der Unsicherheiten und Grenzen der Ergebnisse. Die genannten Prozentwerte und Vergleiche sind daher als Behauptungen des Abstracts wiederzugeben; anhand dieses Auszugs allein lassen sie sich nicht näher einordnen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 30 %einzelne zitierbare Belege
- JEV 41 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %gleiches Oberthema, hilft nicht
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 30 %einzelne zitierbare Belege
- JEV 30 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug