Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind26. September 2024 · Q005885

Geometric-Averaged Preference Optimization for Soft Preference Labels

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Bericht umfasst nur den Abstract und bibliografische Angaben. Die Autoren schlagen vor, DPO mit weichen Präferenzlabels und einer geometrischen Mittelung zu ergänzen; laut ihren Experimenten mit simuliertem KI-Feedback verbessert das die Benchmark-Ergebnisse, besonders bei überwiegend mäßig sicheren Labels. Konkrete Messwerte und Versuchsdetails fehlen im Auszug.

Mittel

Der bereitgestellte Bericht ist ein Auszug: Er enthält den Abstract und bibliografische Angaben, nicht den vollständigen Artikel. Thema ist die Ausrichtung großer Sprachmodelle anhand menschlicher Präferenzen. Die Autoren wenden ein, dass viele DPO-Verfahren Präferenzen als binär und eindeutig behandeln, obwohl Menschen Antworten unterschiedlich bewerten können.

Sie schlagen weiche, verteilungsbasierte Präferenzlabels und eine gewichtete geometrische Mittelung der Modellausgabewahrscheinlichkeiten in der DPO-Verlustfunktion vor. Laut Abstract soll dadurch das Lernsignal bei ähnlich bewerteten Antworten geringer ausfallen. Die Autoren behaupten, die Anpassung sei auf DPO-basierte Methoden übertragbar und könne Überoptimierung und eine Fehlanpassung des Optimierungsziels verringern.

In Experimenten mit simulierten weichen Labels aus KI-Rückmeldungen berichten sie von konsistent besseren Ergebnissen auf Alignment-Benchmarks. Besonders deutlich seien die Verbesserungen, wenn die Labels meist nur mäßig sicher sind. Konkrete Benchmarks, Zahlen und Einzelheiten zum Versuchsaufbau fehlen im Auszug; die berichteten Ergebnisse sind hier deshalb nicht unabhängig überprüfbar. Der Beitrag erschien laut Metadaten auf der NeurIPS 2024.

Ausführlich lesen

Der bereitgestellte Bericht enthält nur den Abstract sowie Angaben zu Autorinnen und Autoren und zum Publikationsort; der vollständige Artikel liegt hier nicht vor. Er beschreibt ein Verfahren zur Ausrichtung großer Sprachmodelle an menschlichen Präferenzen. Die Autoren argumentieren, dass viele bisherige Verfahren, darunter Direct Preference Optimization (DPO), menschliche Präferenzen als binär und eindeutig behandeln. Da Präferenzen zwischen Menschen variieren können, schlagen sie vor, sie als Verteilungen über die bevorzugten Antworten darzustellen.

Als Änderung an DPO führen die Autoren sogenannte weiche Präferenzlabels und einen gewichteten geometrischen Mittelwert der Ausgabewahrscheinlichkeiten des Sprachmodells in der Verlustfunktion ein. Laut Abstract passt diese Gewichtung die Stärke des Lernsignals an die Präferenzlabels an: Wenn zwei Antworten ähnlich bevorzugt werden, soll der Verlust gegen null gehen. Die Autoren behaupten, die einfache Anpassung lasse sich auf DPO-basierte Verfahren übertragen und könne Überoptimierung sowie eine Abweichung zwischen Optimierungsziel und tatsächlichem Präferenzziel mindern.

Zur Bewertung simulieren die Experimente weiche Präferenzlabels anhand von Rückmeldungen anderer Sprachmodelle. Nach Darstellung des Abstracts verbessert die geometrische Mittelung die Leistung durchgängig auf etablierten Benchmarks der Alignment-Forschung. Die Autoren berichten zudem, dass das Verfahren gegenüber binären Labels bevorzugtere Antworten hervorbringe und besonders deutliche Verbesserungen zeige, wenn überwiegend nur mäßig sichere Präferenzlabels vorliegen.

Der Auszug enthält keine Angaben zu konkreten Benchmarks, Modellgrößen, Versuchsaufbau, Messwerten oder statistischer Unsicherheit. Die Ergebnisse sind daher hier nur als Aussagen des Abstracts wiederzugeben und lassen sich anhand des bereitgestellten Materials nicht im Detail prüfen. Der Beitrag ist laut Metadaten auf der NeurIPS 2024 erschienen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Unabhängig prüfen
Vertrauen in Modelle

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →