Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind26. Februar 2024 · Q005361

A density estimation perspective on learning from pairwise human preferences

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Text enthält nur den Abstract: Er stellt das Lernen aus paarweisen menschlichen Präferenzen als Dichteschätzungsproblem dar und berichtet, dass bestimmte Modelle so die implizite Präferenzverteilung von Annotierenden abbilden könnten. Falsche Annahmen über Annotierende und vielfältige Sichtweisen könnten laut Abstract zu schlecht angepassten Modellen führen; konkrete Methoden und Messwerte fehlen im Auszug.

Mittel

Der bereitgestellte Berichtstext besteht aus Metadaten und dem Abstract, nicht aus dem vollständigen Bericht. Er behandelt das Lernen großer Sprachmodelle aus paarweisen menschlichen Präferenzen. Während verbreitete Ansätze dies als Reinforcement Learning mit einer gelernten Belohnungsfunktion auffassen, schlagen die Autorinnen und Autoren vor, den Vorgang als Dichteschätzung über den generativen Prozess der Präferenzurteile zu verstehen.

Laut Abstract zeigen ihre theoretischen und empirischen Ergebnisse, dass das Training einer Belohnungsfunktion für bestimmte Modellfamilien die implizite Präferenzverteilung einer annotierenden Person erfassen kann. Zugleich warnen sie vor „Annotator-Misspezifikation“: Falsche Annahmen über das Verhalten der Annotierenden können zu schlecht angepassten Modellen führen. Zudem könnten unterschiedliche Sichtweisen innerhalb einer Gruppe von Annotierenden das Lernen erschweren. Der Auszug nennt keine Datensätze, Messwerte oder Einzelheiten zum Vorgehen; Reichweite und Stärke der Ergebnisse lassen sich daraus nicht beurteilen.

Ausführlich lesen

Der bereitgestellte Text enthält neben bibliografischen Angaben nur den Abstract des Berichts „A density estimation perspective on learning from pairwise human preferences“. Die folgende Zusammenfassung gibt daher ausschließlich diesen Auszug wieder, nicht den vollständigen Bericht.

Der Abstract behandelt das Lernen aus menschlichem Feedback, insbesondere aus paarweisen Präferenzurteilen. Diese Methode sei in jüngerer Zeit ein wichtiger Bestandteil beim Training großer Sprachmodelle geworden. Häufig werde sie als Reinforcement-Learning-Aufgabe beschrieben: Aus den Präferenzdaten wird eine Belohnungsfunktion gelernt, und das Sprachmodell wird als Policy angepasst, um diese Belohnung zu maximieren, teils unter zusätzlichen Regularisierungsbedingungen.

Die Autorinnen und Autoren schlagen eine andere Deutung vor. Sie stellen den generativen Prozess in den Mittelpunkt, durch den paarweise Präferenzen entstehen, und fassen das Lernen aus menschlichem Feedback als Problem der Dichteschätzung auf. Ihren Angaben zufolge zeigen sie theoretisch und empirisch, dass das Training einer Belohnungsfunktion für bestimmte Familien solcher Prozesse die implizite Präferenzverteilung einer annotierenden Person modellieren kann. Die Aussage gilt laut Abstract für eine Familie von Prozessen, die über Gleichungen zum Verhalten bei Präferenzen definiert wird; der Auszug liefert keine näheren Details zu diesen Gleichungen oder den Untersuchungen.

Außerdem behandelt der Bericht laut Abstract Fälle von „Annotator-Misspezifikation“: Dabei beruhen die Modellannahmen auf einem unzutreffenden Bild davon, wie Annotierende Präferenzen äußern. Solche Fehlannahmen können dem Abstract zufolge zu schlecht angepassten Modellen führen. Die Autorinnen und Autoren führen als mögliche Einschränkung an, dass Verfahren, die aus paarweisen menschlichen Präferenzen lernen, Schwierigkeiten haben könnten, wenn die annotierende Population unterschiedliche Sichtweisen umfasst.

Der Auszug nennt weder konkrete Datensätze noch Messwerte, Versuchsaufbau oder detaillierte Ergebnisse. Entsprechend lassen sich daraus keine Aussagen über die Stärke der Effekte oder die Übertragbarkeit auf bestimmte Modelle ableiten. Als Publikationsort ist Transactions on Machine Learning Research angegeben; als Autorinnen und Autoren werden Vincent Dumoulin, Daniel Johnson, Pablo Castro Rivadeneira, Hugo Larochelle und Yann Dauphin genannt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 30 %Hintergrund, keine Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 32 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 34 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →