Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind16. Januar 2024 · Q005394

On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Bericht ist nur ein Abstract-Auszug. Er stellt GKD vor: Ein Sprachmodell wird auch anhand eigener Ausgaben trainiert und erhält dazu Rückmeldung vom Lehrermodell; laut Abstract wurde der Ansatz für Zusammenfassungen, Übersetzungen und arithmetisches Schlussfolgern untersucht. Konkrete Versuchsdaten oder Ergebniswerte enthält der Auszug nicht.

Mittel

Der vorliegende Bericht ist nur ein Auszug: Er besteht aus dem Abstract und bibliografischen Angaben. Er behandelt Wissensdestillation, bei der ein kleineres Sprachmodell Wissen eines größeren übernimmt. Als Schwäche bisheriger Ansätze wird eine Verteilungsabweichung genannt: Die Ausgaben im Training stimmen nicht unbedingt mit den Sequenzen überein, die das Schülermodell später selbst erzeugt.

Das vorgeschlagene Verfahren, Generalized Knowledge Distillation (GKD), trainiert den Schüler auch auf solchen selbst erzeugten Sequenzen und nutzt dafür Rückmeldungen des Lehrermodells. Laut Abstract kann GKD verschiedene Divergenzmaße einsetzen, was helfen soll, wenn der Schüler die Verteilung des Lehrers nicht vollständig nachbilden kann. Außerdem ermögliche es die Verbindung der Destillation mit RL-Feinabstimmung, darunter RLHF. Die Autorinnen und Autoren berichten von Anwendungen bei Zusammenfassungen, Übersetzungen und arithmetischem Schlussfolgern. Der Auszug enthält keine Versuchsdetails oder Zahlen, mit denen sich Umfang und Grenzen der Ergebnisse prüfen ließen. Als Publikationsort ist ICLR 2024 angegeben.

Ausführlich lesen

Der vorliegende Bericht ist nur ein Auszug: Er enthält das Abstract sowie Angaben zu Autorinnen und Autoren und zum Publikationsort, aber keine ausführliche Darstellung der Studie. Im Mittelpunkt steht die Wissensdestillation autoregressiver Sprachmodelle. Dabei wird ein kleineres Schülermodell so trainiert, dass es Wissen eines größeren Lehrermodells übernimmt und dadurch geringere Inferenzkosten und weniger Speicherbedarf haben soll. Als Problem bestehender Verfahren nennt das Abstract eine Abweichung zwischen den Ausgabesequenzen, die das Modell beim Training sieht, und jenen, die es später selbst erzeugt.

Als Ansatz stellen die Autorinnen und Autoren Generalized Knowledge Distillation (GKD) vor. Dabei wird das Schülermodell auch anhand selbst erzeugter Ausgaben trainiert; das Lehrermodell liefert Rückmeldung zu diesen Sequenzen. GKD könne außerdem verschiedene Divergenzmaße zwischen Schüler und Lehrer verwenden. Das sei insbesondere dann nützlich, wenn das Schülermodell nicht ausdrucksstark genug sei, um die Verteilung des Lehrermodells nachzubilden. Zudem lasse sich die Destillation laut Abstract mit RL-Feinabstimmung, einschließlich RLHF, verbinden.

Die Wirksamkeit des Verfahrens wird für die Destillation autoregressiver Sprachmodelle bei Zusammenfassungen, Übersetzungen und arithmetischem Schlussfolgern behauptet. Der Auszug nennt jedoch weder konkrete Versuchsaufbauten noch Messwerte oder Vergleichsergebnisse. Daher lässt sich aus dem bereitgestellten Text allein nicht beurteilen, wie groß die berichteten Verbesserungen sind oder unter welchen Bedingungen sie gelten. Als Publikationsort ist ICLR 2024 angegeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %Hintergrund, keine Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 25 %Hintergrund, keine Belege
    • Luna 40 %Hintergrund, keine Belege
    • JEV 38 %Hintergrund, keine Belege
    • amos 24 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 47 %gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →