Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind10. Dezember 2023 · Q005087

Feature Likelihood Divergence: Evaluating the Generalization of Generative Models Using Samples

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Bericht ist nur ein Auszug: Im Abstract schlagen die Autorinnen und Autoren FLD vor, eine Kennzahl, die Neuartigkeit, Wiedergabetreue und Vielfalt generierter Beispiele gemeinsam bewerten soll. Sie berichten, FLD erkenne bestimmte von FID übersehene Überanpassungsfälle; konkrete Messwerte, methodische Einzelheiten und Grenzen enthält der Auszug nicht.

Mittel

Der bereitgestellte Bericht ist ein Auszug aus dem Abstract mit Autorenschaft und Publikationsangabe; Einzelheiten des vollständigen Beitrags liegen hier nicht vor. Die Autorinnen und Autoren sehen zwei Lücken bei der Bewertung generativer Modelle: Likelihoodkennzahlen passen nicht immer und spiegeln die wahrgenommene Qualität selten wider; samplebasierte Kennzahlen wie FID können Überanpassung übersehen und damit mangelnde Verallgemeinerung auf neue Beispiele nicht erkennen.

Als Lösung schlagen sie Feature Likelihood Divergence (FLD) vor, eine samplebasierte Kennzahl, die Dichteschätzung nutzt. Sie soll Neuartigkeit gegenüber Trainingsbeispielen, Wiedergabetreue und Vielfalt gemeinsam berücksichtigen. Laut Abstract erkannte FLD bestimmte Überanpassungsfälle, die frühere Kennzahlen verfehlten. Tests mit verschiedenen Bilddatensätzen und Modellklassen hätten zudem Ergebnisse geliefert, die zu den Intuitionen hinter FID passen, aber eine umfassendere Bewertung erlauben.

Konkrete Datensätze, Messwerte, methodische Details und Einschränkungen sind im Auszug nicht aufgeführt; die berichteten Ergebnisse lassen sich daher hier nicht näher prüfen.

Ausführlich lesen

Der bereitgestellte Bericht ist ein Auszug: Er enthält den Abstract sowie Angaben zu Autorinnen und Autoren und zum Veröffentlichungsort, aber keine vollständige Darstellung des Vorgehens oder der Ergebnisse. Der Beitrag von Marco Jiralerspong, Joey Bose, Ian Gemp, Chongli Qin, Yoram Bachrach und Gauthier Gidel wurde laut Auszug bei NeurIPS 2023 veröffentlicht.

Im Abstract beschreiben die Autorinnen und Autoren ein Problem bei der Bewertung generativer Modelle. Übliche likelihoodbasierte Kennzahlen seien nicht für alle Modelle geeignet und stimmten nur selten mit der wahrgenommenen Qualität der erzeugten Daten überein. Kennzahlen, die lediglich generierte Beispiele auswerten, darunter FID, könnten wiederum Überanpassung übersehen: Ein Modell könne Trainingsdaten reproduzieren, ohne überzeugend auf neue Beispiele zu verallgemeinern.

Als Antwort schlagen die Autorinnen und Autoren Feature Likelihood Divergence (FLD) vor. Die Kennzahl wertet generierte Stichproben aus und nutzt laut Abstract Dichteschätzung. Sie soll drei Aspekte gemeinsam erfassen: Neuartigkeit im Sinne einer Abweichung von Trainingsbeispielen, Wiedergabetreue und Vielfalt der erzeugten Beispiele.

Der Abstract berichtet, FLD habe bestimmte Fälle von Überanpassung erkannt, bei denen zuvor vorgeschlagene Kennzahlen versagt hätten. Außerdem sei die Kennzahl anhand verschiedener Bilddatensätze und Modellklassen untersucht worden. Dabei habe FLD den Intuitionen hinter Kennzahlen wie FID entsprochen und zugleich eine umfassendere Bewertung ermöglicht.

Der Auszug nennt jedoch weder konkrete Datensätze und Modelle noch Messwerte, Vergleichsdetails oder Einzelheiten zur Dichteschätzung. Daher lassen sich aus dem bereitgestellten Text allein weder die Stärke der berichteten Ergebnisse noch die Grenzen und Bedingungen der Methode genauer beurteilen. Der Abstract verweist auf verfügbaren Code, liefert hier aber keine weiteren Angaben dazu.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →