Replay for LLM Continual Learning with Multi-Teacher On-Policy Distillation
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Text ist nur der Abstract-Auszug eines arXiv-Berichts. Er beschreibt Replay für fortlaufende Modell-Destillation: Frühere Domänen werden mit dem Student der vorherigen Lernstufe erneut trainiert, sodass laut Abstract keine Experten oder Modellzwischenstände gespeichert werden müssen. In Tests über fünf Domänen und 14 Benchmarks schließe das Verfahren den Großteil des Abstands zur gemeinsamen Destillation; ein festes Replay-Budget je Domäne erreiche dem Abstract zufolge das Niveau der Wiederherstellung mit gespeicherten Zwischenständen.
Mittel
Der bereitgestellte Text enthält nur den Abstract und Angaben zur arXiv-Seite, nicht den vollständigen Bericht. Thema ist fortlaufendes Lernen durch Multi-Teacher On-Policy Distillation (MOPD): Beim sequenziellen Lernen können frühere Fähigkeiten laut Abstract vergessen werden, wenn die ursprünglichen Experten nicht mehr verfügbar sind. Eine bisherige Wiederherstellungslösung speichert Zwischenstände aller Stufen, wodurch der Speicherbedarf mit der Zahl der Stufen wächst.
Untersucht wird Replay, bei dem in jeder Stufe Prompts früherer Domänen erneut genutzt und vom Student der vorherigen Stufe angeleitet werden. Dadurch sollen weder frühere Experten noch gespeicherte Zwischenstände nötig sein. Die Studie vergleicht ein zwischen Domänen geteiltes oder je Domäne festes Replay-Budget sowie reine Token-Verteilungs-Destillation mit Varianten, die zusätzlich interne Modellinformationen angleichen.
Der Abstract berichtet einen Benchmark mit fünf Domänen und 14 Benchmarks. Replay ohne gespeicherte Zwischenstände schließe den Großteil des Leistungsabstands zur gemeinsamen MOPD; mit festem Replay-Anteil je früherer Domäne erreiche es laut Abstract ein ähnliches Niveau wie die Wiederherstellung aus allen Zwischenständen. Genauere Zahlen und weitere Einschränkungen sind im Auszug nicht enthalten.
Ausführlich lesen
Der bereitgestellte Text ist ein Auszug aus der arXiv-Seite mit dem Abstract, nicht der vollständige Bericht. Er beschreibt Multi-Teacher On-Policy Distillation (MOPD), bei der mehrere Fachexperten ein gemeinsames Sprachmodell trainieren. Das übliche gemeinsame Training setzt voraus, dass alle Experten gleichzeitig verfügbar sind. Werden Fähigkeiten dagegen nacheinander gelernt und sind frühere Experten nicht mehr vorhanden, kann sequenzielle Destillation laut Abstract zu katastrophalem Vergessen führen. Eine andere Lösung speichert nach jeder Lernstufe ein Modell und nutzt am Ende alle gespeicherten Modelle zur Wiederherstellung; dabei wächst die Zahl der gespeicherten Modelle mit der Zahl der Stufen.
Der Beitrag untersucht eine fortlaufende MOPD-Variante, die stattdessen auf den Student der vorherigen Stufe zurückgreift. Während jeder neuen Stufe werden Prompts früherer Domänen erneut verwendet und vom vorherigen Student als Lehrmodell begleitet. So sollen weder frühere Experten noch Zwischenstände gespeichert werden müssen. Verglichen werden zwei Entscheidungen: ob das Replay-Budget einer Stufe auf frühere Domänen aufgeteilt oder für jede Domäne einzeln festgelegt wird, und ob nur Token-Verteilungen oder zusätzlich verborgene Zustände, gebietsweise gepoolte Self-Attention-Werte und Value-Beziehungen angeglichen werden.
Laut Abstract umfasst die Auswertung einen Fünf-Domänen-Benchmark aus Logik, Mathematik, Programmierung, Sicherheit und Instruktionsbefolgung. Er basiert auf öffentlichen Experten für einen 1,5-Milliarden-Parameter-Student; getestet wurde auf 14 Benchmarks. Die berichteten Ergebnisse besagen, dass Replay zum vorherigen Student ohne gespeicherte Zwischenstände den Großteil des Abstands zwischen sequenzieller und gemeinsamer MOPD schließt. Bei einem festen Replay-Anteil je früherer Domäne liege die Leistung auf dem Niveau der Wiederherstellung mit allen gespeicherten Zwischenständen. Der Auszug enthält keine näheren Zahlen oder Angaben zu weiteren Grenzen der Experimente.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 36 %gleiches Oberthema, hilft nicht
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug