Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind15. Februar 2024 · Q005700

Experts Don't Cheat: Learning What You Don't Know by Predicting Pairs

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der Auszug stellt eine Methode vor, bei der Modelle Antwortpaare vorhersagen und dabei eine Antwort nutzen dürfen, um die andere besser einzuschätzen; wie stark sie diesen Vorteil nutzen, soll fehlendes Wissen sichtbar machen. Laut Abstract beruht dies auf einer theoretischen Verbindung zu zweitordentlicher Kalibrierung und wurde in drei Aufgabenbereichen erfolgreich getestet. Konkrete Messwerte und Details zu den Grenzen sind im bereitgestellten Abstract nicht enthalten.

Mittel

Der bereitgestellte Text ist ein Auszug: Er enthält den Abstract und bibliografische Angaben, aber nicht den vollständigen Bericht. Die Autoren untersuchen, wie generative Modelle erkennen können, was sie über den Prozess hinter ihren Antworten nicht wissen. Ihrer Darstellung zufolge vermischen übliche Wahrscheinlichkeitsvorhersagen zufällige Ungewissheit mit fehlendem Modellwissen; bestehende Schätzverfahren könnten bei unzureichend trainierten Modellen übermäßig sicher sein.

Vorgeschlagen wird, Modelle unabhängige Antwortpaare aus der tatsächlichen bedingten Verteilung vorhersagen zu lassen. Dabei sieht das Modell jeweils eine Antwort, während es die andere vorhersagt. Gemessen wird, wie stark es diesen Informationsvorsprung nutzt. Die Autoren behaupten, dass gutes Nutzen dieses Vorteils einer zweitordentlichen Kalibrierung entspricht. Damit ließen sich korrekte frequentistische Konfidenzintervalle konstruieren und falsche Antworten mit hoher Wahrscheinlichkeit erkennen.

Experimente zu mehrdeutiger Bildklassifikation, synthetischer Sprachmodellierung und teilweise beobachtbarer Navigation sollen laut Abstract zeigen, dass die Methode fehlendes Wissen genau schätzt und bestehende Verfahren übertrifft. Der Auszug enthält keine Messwerte, Versuchsdetails oder genaueren Grenzen dieser Ergebnisse.

Ausführlich lesen

Der bereitgestellte Text enthält die Metadaten und den Abstract eines arXiv-Berichts mit dem Titel „Experts Don’t Cheat: Learning What You Don’t Know by Predicting Pairs“. Es handelt sich nur um einen Auszug, nicht um den vollständigen Bericht; Einzelheiten zu Beweisen, Experimenten und Ergebnissen liegen hier nicht vor.

Die Autoren behandeln die Frage, wie ein Modell erkennen kann, was es über den zugrunde liegenden Prozess nicht weiß. Das sei wichtig, damit Modelle weniger wahrscheinlich falsche oder halluzinierte Antworten erzeugen oder unsichere Handlungen ausführen. Bei generativen Modellen sei diese Einschätzung schwierig: Ihre Wahrscheinlichkeitsvorhersagen unterschieden nicht zuverlässig zwischen zufälliger Ungewissheit innerhalb eines Prozesses und fehlendem Wissen über den Prozess selbst. Zudem würden bestehende Verfahren zur Schätzung epistemischer Unsicherheit laut Abstract zu übermäßigem Vertrauen neigen, wenn ein Modell den Prozess nur unzureichend erlernt hat.

Als Ansatz schlagen die Autoren vor, ein Modell gleichzeitig die bedingte Verteilung möglicher Antworten und die verbleibenden Abweichungen zwischen seiner Schätzung und der tatsächlichen Verteilung lernen zu lassen. Dafür soll es Paare unabhängiger Antworten aus der tatsächlichen bedingten Verteilung vorhersagen. Beim Vorhersagen einer Antwort darf das Modell die jeweils andere Antwort beobachten; anschließend wird gemessen, in welchem Maß es diesen Informationsvorteil nutzt („cheatet“). Die Grundidee ist, dass das Ausmaß dieses Nutzens Hinweise darauf geben kann, wo dem Modell Wissen fehlt.

Der Abstract berichtet außerdem einen theoretischen Zusammenhang: Die Fähigkeit, immer dann von diesem zusätzlichen Einblick Gebrauch zu machen, wenn er die Vorhersage verbessert, sei äquivalent zu einer sogenannten zweitordentlichen Kalibrierung. Diese erweitere die gewöhnliche Kalibrierung. Daraus leiten die Autoren nach eigener Darstellung die Möglichkeit ab, frequentistische Konfidenzintervalle für die tatsächliche bedingte Verteilung zu konstruieren und fehlerhafte Antworten mit hoher Wahrscheinlichkeit zu erkennen.

Empirisch sei das Verfahren bei mehrdeutiger Bildklassifikation, synthetischer Sprachmodellierung und Navigation mit teilweise beobachtbarem Zustand untersucht worden. Laut Abstract schätze es dort das fehlende Wissen von Modellen genau und übertreffe bestehende Verfahren. Der Auszug nennt jedoch weder konkrete Messwerte noch Vergleichsverfahren, Versuchsbedingungen oder Einschränkungen der theoretischen Resultate. Daher lassen sich diese Leistungsbehauptungen anhand des bereitgestellten Textes nicht im Detail prüfen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 45 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 24 %Hintergrund, keine Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →