Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind3. Dezember 2025 · Q004567

Capturing Human Preferences with Reward Features

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Bericht ist nur ein Abstract mit bibliografischen Angaben. Die Autorinnen und Autoren schlagen ein Belohnungsmodell vor, das persönliche Präferenzen aus allgemeinen Merkmalen ableitet; laut Abstract wächst sein Vorteil bei mehr Bewertenden und stärker unterschiedlichen Präferenzen. Konkrete Messwerte und Versuchsdetails fehlen im Auszug.

Mittel

Der bereitgestellte Bericht umfasst nur das Abstract und bibliografische Angaben, nicht den vollständigen Artikel. Darin argumentieren die Autorinnen und Autoren, dass ein einheitliches Belohnungsmodell menschliche Präferenzen bei starker Uneinigkeit schlecht abbilden kann. Sie leiten mit empirischer Risikominimierung eine PAC-Schranke her, nach der der Approximationsfehler sowohl von der Zahl der Trainingsbeispiele als auch von der Zahl der Personen mit Feedback abhängt.

Als Lösung schlagen sie ein adaptives Modell vor, das individuelle Präferenzen als lineare Kombination allgemeiner Belohnungsmerkmale erfasst. Nach dem Lernen dieser Merkmale soll sich das Modell rasch auf Einzelne einstellen lassen, selbst wenn deren Präferenzen in den Trainingsdaten fehlen. Laut Abstract zeigen Experimente mit großen Sprachmodellen, dass der Nutzen gegenüber einer nicht adaptiven Basis mit mehr Bewertenden und stärker unterschiedlichen Präferenzen wächst. Der Ansatz vergleiche sich zudem günstig mit anderen adaptiven Verfahren, einschließlich In-Context-Personalisierung. Zahlen, Datensätze und Versuchsdetails enthält der Auszug nicht; die Ergebnisse sind daher hier nicht im Einzelnen überprüfbar. Angegeben ist NeurIPS 2025.

Ausführlich lesen

Der bereitgestellte Bericht besteht aus dem Abstract und bibliografischen Angaben; der vollständige Artikel liegt hier nicht vor. Er behandelt die Frage, wie Belohnungsmodelle für Reinforcement Learning aus menschlichem Feedback persönliche Präferenzen berücksichtigen können. Die Autorinnen und Autoren argumentieren, ein einziges, für alle Menschen gleiches Belohnungsmodell sei in Bereichen mit viel Uneinigkeit – etwa beim Training großer Sprachmodelle – wahrscheinlich ungeeignet.

Die Arbeit formalisiert das Lernen eines Belohnungsmodells, das auf einzelne Personen angepasst werden kann. Mit empirischer Risikominimierung leiten die Forschenden eine PAC-Schranke her. Laut Abstract hängt der Approximationsfehler dabei wie üblich von der Zahl der Trainingsbeispiele ab, zusätzlich aber auch davon, wie viele Personen diese Beispiele bewertet haben. Aus der theoretischen Analyse leiten sie Überlegungen zur Erhebung paarweiser Präferenzdaten ab und vertreten die Einschätzung, adaptive Modelle seien besonders nützlich, wenn die Präferenzen der Beteiligten deutlich auseinandergehen.

Als konkreten Ansatz schlagen sie ein adaptives Belohnungsmodell vor. Es beruht auf der Annahme, dass sich individuelle Präferenzen als lineare Kombination allgemeiner Belohnungsmerkmale darstellen lassen. Die Merkmale werden zunächst gelernt; anschließend soll sich das Modell mit wenig Aufwand an eine einzelne Person anpassen lassen – auch dann, wenn deren Präferenzen in den Trainingsdaten nicht abgebildet waren.

Der Abstract berichtet über Experimente mit großen Sprachmodellen. Diese sollen die theoretischen Ergebnisse veranschaulichen und den Ansatz mit einem nicht adaptiven Ausgangsmodell vergleichen. Den Autorinnen und Autoren zufolge nehmen die Vorteile ihres Modells mit der Zahl der Bewertenden und der Verschiedenheit ihrer Präferenzen zu. Außerdem schneide es im Vergleich zu anderen adaptiven Ansätzen, darunter In-Context-Personalisierung, günstig ab.

Der Auszug nennt jedoch keine konkreten Messwerte, Datensätze, Versuchsdetails oder Einzelheiten zur PAC-Schranke. Deshalb lassen sich aus dem bereitgestellten Text weder die Größenordnung der berichteten Vorteile noch die Bedingungen ihrer Gültigkeit genauer beurteilen. Der Artikel ist für NeurIPS 2025 angegeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 22 %Hintergrund, keine Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 38 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 34 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →