Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind27. März 2024 · Q005225

Few-Shot Recalibration of Language Models

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Text enthält nur den Abstract, nicht den vollständigen Artikel. Er beschreibt ein Verfahren, das Konfidenzwerte von Sprachmodellen anhand weniger ungelabelter Beispiele für einzelne Bereiche nachkalibrieren soll; laut Abstract verbessert es unter anderem den Kalibrierungsfehler von PaLM2-Large auf MMLU um 16 Prozent gegenüber Temperature Scaling. Weitere Versuchsdetails und Einschränkungen sind im Auszug nicht enthalten.

Mittel

Der bereitgestellte Bericht besteht nur aus dem Abstract der Arbeit; der vollständige Artikel liegt nicht vor. Darin argumentieren die Autorinnen und Autoren, dass Sprachmodelle trotz guter Gesamtkalibrierung in einzelnen Bereichen deutlich über- oder unterkonfident sein können. Solche Fehler können sich über verschiedene Bereiche hinweg gegenseitig verdecken.

Als Lösung schlagen sie ein trainiertes Nachkalibrierungsmodell vor: Es erhält wenige ungelabelte Beispiele aus einem bestimmten Teilbereich und sagt eine Kurve voraus, die die Konfidenzwerte des Sprachmodells für diesen Bereich anpasst. Für neue Teilbereiche sollen keine gelabelten Beispiele aus genau diesem Bereich nötig sein. Die angepassten Werte könnten laut Abstract dazu dienen, Schwellen für verlässliche Vorhersagen und für Enthaltung festzulegen.

Die Autorinnen und Autoren berichten, dass ihr Verfahren bestehende Kalibrierungsmethoden in den Experimenten durchgehend übertraf. Für PaLM2-Large auf MMLU nennen sie eine Verbesserung des Kalibrierungsfehlers um 16 Prozent gegenüber Temperature Scaling. Der Auszug erläutert weder die Versuchsdetails noch die Messdefinition oder mögliche Einschränkungen; die Leistungsangabe lässt sich hier daher nicht unabhängig beurteilen.

Ausführlich lesen

Der bereitgestellte Bericht enthält nur den Abstract der Arbeit „Few-Shot Recalibration of Language Models“ sowie Angaben zu Autorinnen und Autoren und zum Publikationsort; der vollständige Artikel liegt hier nicht vor. Die Zusammenfassung stützt sich daher ausschließlich auf diesen Auszug.

Der Abstract beschreibt ein Verfahren, mit dem sich die Konfidenzwerte von Sprachmodellen für bestimmte Teilbereiche einer Datenverteilung nachkalibrieren lassen. Als Motivation nennen die Autorinnen und Autoren, dass ein Modell insgesamt gut kalibriert wirken kann, obwohl es in einzelnen Bereichen systematisch zu hohe oder zu niedrige Sicherheit angibt. Solche Fehler könnten sich in der Gesamtbetrachtung gegenseitig ausgleichen, etwa wenn das Modell bei Mathematik über- und bei Geschichte unterkonfident ist.

Vorgeschlagen wird ein trainiertes Nachkalibrierungsmodell. Für einen neuen Teilbereich erhält es wenige unlabeled, also nicht mit Richtigkeitsangaben versehene Beispiele und sagt daraus eine Kurve voraus, die die Konfidenzwerte des Sprachmodells für diesen Bereich anpasst. Laut Abstract benötigt das Verfahren für neue Teilbereiche keine gelabelten Beispiele aus genau diesem Teilbereich. Die korrigierten Werte sollen helfen, bereichsspezifische Schwellen festzulegen: Oberhalb einer Schwelle könnten Vorhersagen als vertrauenswürdig gelten, unterhalb davon sollte das Modell sich enthalten.

Der Abstract berichtet, dass das Verfahren in den Experimenten bestehende Kalibrierungsmethoden durchgehend übertroffen habe. Als konkretes Beispiel wird PaLM2-Large auf MMLU genannt: Gegenüber Temperature Scaling sei der Kalibrierungsfehler um 16 Prozent verbessert worden. Der Auszug enthält jedoch keine Einzelheiten zu Versuchsaufbau, Datensätzen jenseits dieses Beispiels, Messdefinition, statistischer Unsicherheit oder möglichen Einschränkungen. Diese Ergebnisse und Leistungsangaben sind daher als Aussagen des Abstracts wiedergegeben und lassen sich anhand des bereitgestellten Textes nicht weiter prüfen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Unabhängig prüfen
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 35 %einzelne zitierbare Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
Frieden und Sicherheit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →