Feature Likelihood Divergence: Evaluating the Generalization of Generative Models Using Samples
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Bericht ist nur ein Auszug: Im Abstract schlagen die Autorinnen und Autoren FLD vor, eine Kennzahl, die Neuartigkeit, Wiedergabetreue und Vielfalt generierter Beispiele gemeinsam bewerten soll. Sie berichten, FLD erkenne bestimmte von FID übersehene Überanpassungsfälle; konkrete Messwerte, methodische Einzelheiten und Grenzen enthält der Auszug nicht.
Mittel
Der bereitgestellte Bericht ist ein Auszug aus dem Abstract mit Autorenschaft und Publikationsangabe; Einzelheiten des vollständigen Beitrags liegen hier nicht vor. Die Autorinnen und Autoren sehen zwei Lücken bei der Bewertung generativer Modelle: Likelihoodkennzahlen passen nicht immer und spiegeln die wahrgenommene Qualität selten wider; samplebasierte Kennzahlen wie FID können Überanpassung übersehen und damit mangelnde Verallgemeinerung auf neue Beispiele nicht erkennen.
Als Lösung schlagen sie Feature Likelihood Divergence (FLD) vor, eine samplebasierte Kennzahl, die Dichteschätzung nutzt. Sie soll Neuartigkeit gegenüber Trainingsbeispielen, Wiedergabetreue und Vielfalt gemeinsam berücksichtigen. Laut Abstract erkannte FLD bestimmte Überanpassungsfälle, die frühere Kennzahlen verfehlten. Tests mit verschiedenen Bilddatensätzen und Modellklassen hätten zudem Ergebnisse geliefert, die zu den Intuitionen hinter FID passen, aber eine umfassendere Bewertung erlauben.
Konkrete Datensätze, Messwerte, methodische Details und Einschränkungen sind im Auszug nicht aufgeführt; die berichteten Ergebnisse lassen sich daher hier nicht näher prüfen.
Ausführlich lesen
Der bereitgestellte Bericht ist ein Auszug: Er enthält den Abstract sowie Angaben zu Autorinnen und Autoren und zum Veröffentlichungsort, aber keine vollständige Darstellung des Vorgehens oder der Ergebnisse. Der Beitrag von Marco Jiralerspong, Joey Bose, Ian Gemp, Chongli Qin, Yoram Bachrach und Gauthier Gidel wurde laut Auszug bei NeurIPS 2023 veröffentlicht.
Im Abstract beschreiben die Autorinnen und Autoren ein Problem bei der Bewertung generativer Modelle. Übliche likelihoodbasierte Kennzahlen seien nicht für alle Modelle geeignet und stimmten nur selten mit der wahrgenommenen Qualität der erzeugten Daten überein. Kennzahlen, die lediglich generierte Beispiele auswerten, darunter FID, könnten wiederum Überanpassung übersehen: Ein Modell könne Trainingsdaten reproduzieren, ohne überzeugend auf neue Beispiele zu verallgemeinern.
Als Antwort schlagen die Autorinnen und Autoren Feature Likelihood Divergence (FLD) vor. Die Kennzahl wertet generierte Stichproben aus und nutzt laut Abstract Dichteschätzung. Sie soll drei Aspekte gemeinsam erfassen: Neuartigkeit im Sinne einer Abweichung von Trainingsbeispielen, Wiedergabetreue und Vielfalt der erzeugten Beispiele.
Der Abstract berichtet, FLD habe bestimmte Fälle von Überanpassung erkannt, bei denen zuvor vorgeschlagene Kennzahlen versagt hätten. Außerdem sei die Kennzahl anhand verschiedener Bilddatensätze und Modellklassen untersucht worden. Dabei habe FLD den Intuitionen hinter Kennzahlen wie FID entsprochen und zugleich eine umfassendere Bewertung ermöglicht.
Der Auszug nennt jedoch weder konkrete Datensätze und Modelle noch Messwerte, Vergleichsdetails oder Einzelheiten zur Dichteschätzung. Daher lassen sich aus dem bereitgestellten Text allein weder die Stärke der berichteten Ergebnisse noch die Grenzen und Bedingungen der Methode genauer beurteilen. Der Abstract verweist auf verfügbaren Code, liefert hier aber keine weiteren Angaben dazu.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug