Set Learning for Accurate and Calibrated Models
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Text ist nur der Abstract-Auszug einer ICLR-2024-Arbeit. Die Autoren schlagen OKO vor, das den Trainingsfehler über Beispielgruppen statt Einzelbeispiele optimiert, und berichten von besserer Genauigkeit und Kalibrierung, besonders bei wenigen oder unausgewogenen Trainingsdaten. Der Auszug nennt theoretische und experimentelle Unterstützung, enthält aber keine konkreten Versuchsdaten oder ausführliche Grenzen.
Mittel
Der bereitgestellte Text ist ein Abstract-Auszug, nicht der vollständige Bericht. Die bei ICLR 2024 veröffentlichte Arbeit behandelt Überzuversicht und schlechte Kalibrierung als häufige Probleme beim Training von Machine-Learning-Modellen.
Die Autoren schlagen „odd-k-out learning“ (OKO) vor: Statt den Kreuzentropiefehler einzelner Beispiele zu minimieren, optimiert das Verfahren ihn für Gruppen von Beispielen. So könne das Modell Beziehungen zwischen Beispielen berücksichtigen. Laut Abstract verbessert OKO Genauigkeit und Kalibrierung, besonders bei kleinen Trainingsmengen und unausgewogenen Klassen. Die Kalibrierung sei häufig auch ohne weiche Labels oder zusätzliche Parameterabstimmung wie Temperature Scaling besser.
Die Autoren nennen eine theoretische Begründung und umfangreiche Experimente als Stützung ihrer Aussagen. Sie beschreiben OKO als anpassbares Verfahren, dessen Modelle zur Inferenz einzelne Beispiele verarbeiten können, ohne wesentliche zusätzliche Laufzeitkosten oder Architekturänderungen. Der Auszug enthält keine konkreten Versuchsdaten, Messwerte oder ausführliche Angaben zu Grenzen.
Ausführlich lesen
Der bereitgestellte Text ist ein Abstract-Auszug zu einer 2024 bei ICLR veröffentlichten Arbeit, kein vollständiger Bericht. Die Autorinnen und Autoren behandeln Überzuversicht und schlechte Kalibrierung von Modellen als verbreitete Probleme des maschinellen Lernens, die sich mit gewöhnlicher empirischer Risikominimierung nur schwer berücksichtigen ließen.
Als Ansatz stellen sie „odd-k-out learning“ (OKO) vor. Dabei wird der Kreuzentropiefehler nicht für einzelne Beispiele, sondern für Mengen von Beispielen minimiert. Laut Abstract kann das Modell dadurch Zusammenhänge zwischen Beispielen erfassen. Die Autoren berichten, dass OKO sowohl die Vorhersagegenauigkeit als auch die Kalibrierung verbessern könne, besonders bei begrenzten Trainingsdaten und unausgewogenen Klassen.
Der Auszug hebt zudem hervor, dass die bessere Kalibrierung häufig auch dann auftrete, wenn mit harten Labels trainiert und auf zusätzliche Abstimmung eines Kalibrierungsparameters wie Temperature Scaling verzichtet werde. Die Arbeit beanspruche eine theoretische Begründung dafür, dass OKO auf natürliche Weise zu besserer Kalibrierung führe, und verweise auf umfangreiche Experimente, die diese theoretischen Erwartungen stützten.
Schließlich beschreiben die Autoren OKO als allgemein anpassbares Verfahren. Ein damit trainiertes Modell könne bei der Inferenz weiterhin einzelne Beispiele verarbeiten; laut Abstract seien dafür weder wesentliche Laufzeitkosten noch Änderungen an der Architektur erforderlich. Da nur das Abstract vorliegt, enthält der bereitgestellte Text keine Details zu Versuchsaufbau, Datensätzen, konkreten Messwerten oder Einschränkungen der Methode.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 26 %einzelne zitierbare Belege
- JEV 45 %beantwortet teilweise oder widerspricht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug