Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
arxiv.orgohne Datum · Q000394

Replay for LLM Continual Learning with Multi-Teacher On-Policy Distillation

arxiv.org · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Text ist nur der Abstract-Auszug eines arXiv-Berichts. Er beschreibt Replay für fortlaufende Modell-Destillation: Frühere Domänen werden mit dem Student der vorherigen Lernstufe erneut trainiert, sodass laut Abstract keine Experten oder Modellzwischenstände gespeichert werden müssen. In Tests über fünf Domänen und 14 Benchmarks schließe das Verfahren den Großteil des Abstands zur gemeinsamen Destillation; ein festes Replay-Budget je Domäne erreiche dem Abstract zufolge das Niveau der Wiederherstellung mit gespeicherten Zwischenständen.

Mittel

Der bereitgestellte Text enthält nur den Abstract und Angaben zur arXiv-Seite, nicht den vollständigen Bericht. Thema ist fortlaufendes Lernen durch Multi-Teacher On-Policy Distillation (MOPD): Beim sequenziellen Lernen können frühere Fähigkeiten laut Abstract vergessen werden, wenn die ursprünglichen Experten nicht mehr verfügbar sind. Eine bisherige Wiederherstellungslösung speichert Zwischenstände aller Stufen, wodurch der Speicherbedarf mit der Zahl der Stufen wächst.

Untersucht wird Replay, bei dem in jeder Stufe Prompts früherer Domänen erneut genutzt und vom Student der vorherigen Stufe angeleitet werden. Dadurch sollen weder frühere Experten noch gespeicherte Zwischenstände nötig sein. Die Studie vergleicht ein zwischen Domänen geteiltes oder je Domäne festes Replay-Budget sowie reine Token-Verteilungs-Destillation mit Varianten, die zusätzlich interne Modellinformationen angleichen.

Der Abstract berichtet einen Benchmark mit fünf Domänen und 14 Benchmarks. Replay ohne gespeicherte Zwischenstände schließe den Großteil des Leistungsabstands zur gemeinsamen MOPD; mit festem Replay-Anteil je früherer Domäne erreiche es laut Abstract ein ähnliches Niveau wie die Wiederherstellung aus allen Zwischenständen. Genauere Zahlen und weitere Einschränkungen sind im Auszug nicht enthalten.

Ausführlich lesen

Der bereitgestellte Text ist ein Auszug aus der arXiv-Seite mit dem Abstract, nicht der vollständige Bericht. Er beschreibt Multi-Teacher On-Policy Distillation (MOPD), bei der mehrere Fachexperten ein gemeinsames Sprachmodell trainieren. Das übliche gemeinsame Training setzt voraus, dass alle Experten gleichzeitig verfügbar sind. Werden Fähigkeiten dagegen nacheinander gelernt und sind frühere Experten nicht mehr vorhanden, kann sequenzielle Destillation laut Abstract zu katastrophalem Vergessen führen. Eine andere Lösung speichert nach jeder Lernstufe ein Modell und nutzt am Ende alle gespeicherten Modelle zur Wiederherstellung; dabei wächst die Zahl der gespeicherten Modelle mit der Zahl der Stufen.

Der Beitrag untersucht eine fortlaufende MOPD-Variante, die stattdessen auf den Student der vorherigen Stufe zurückgreift. Während jeder neuen Stufe werden Prompts früherer Domänen erneut verwendet und vom vorherigen Student als Lehrmodell begleitet. So sollen weder frühere Experten noch Zwischenstände gespeichert werden müssen. Verglichen werden zwei Entscheidungen: ob das Replay-Budget einer Stufe auf frühere Domänen aufgeteilt oder für jede Domäne einzeln festgelegt wird, und ob nur Token-Verteilungen oder zusätzlich verborgene Zustände, gebietsweise gepoolte Self-Attention-Werte und Value-Beziehungen angeglichen werden.

Laut Abstract umfasst die Auswertung einen Fünf-Domänen-Benchmark aus Logik, Mathematik, Programmierung, Sicherheit und Instruktionsbefolgung. Er basiert auf öffentlichen Experten für einen 1,5-Milliarden-Parameter-Student; getestet wurde auf 14 Benchmarks. Die berichteten Ergebnisse besagen, dass Replay zum vorherigen Student ohne gespeicherte Zwischenstände den Großteil des Abstands zwischen sequenzieller und gemeinsamer MOPD schließt. Bei einem festen Replay-Anteil je früherer Domäne liege die Leistung auf dem Niveau der Wiederherstellung mit allen gespeicherten Zwischenständen. Der Auszug enthält keine näheren Zahlen oder Angaben zu weiteren Grenzen der Experimente.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 36 %gleiches Oberthema, hilft nicht
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →