Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind22. Februar 2024 · Q005773

When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Text ist der Abstract eines ICLR-2024-Beitrags über Skalierung bei der Feinabstimmung von Sprachmodellen. Die Autorinnen und Autoren berichten, dass Modellgröße stärker helfen könne als mehr Vortrainingsdaten, zusätzliche PET-Parameter meist wenig brächten und die beste Methode von Aufgabe und Datenmenge abhänge; Einzelheiten und Messwerte fehlen im Auszug.

Mittel

Der bereitgestellte Text ist nur der Abstract eines ICLR-2024-Beitrags. Er beschreibt Experimente dazu, wie Modellgröße, Umfang der Vortrainingsdaten, Zahl zusätzlicher Feinabstimmungsparameter und Feinabstimmungsdaten die Leistung beeinflussen. Verglichen werden vollständige Modellanpassung (FMT) und parameter-effiziente Methoden (PET), darunter Prompt Tuning und LoRA, in datenbegrenzten Situationen. Untersucht wurden laut Abstract bilinguale Sprachmodelle mit 1 bis 16 Milliarden Parametern bei Übersetzungs- und Zusammenfassungsaufgaben.

Die Autorinnen und Autoren berichten ein multiplikatives Skalierungsgesetz mit Potenzbeziehungen zwischen Feinabstimmungsdaten und weiteren Skalierungsfaktoren. Demnach bringe eine Vergrößerung des Sprachmodells allgemein mehr als eine Ausweitung der Vortrainingsdaten, während zusätzliche PET-Parameter meist wenig nützten. Welche Feinabstimmung am besten abschneide, sei stark von Aufgabe und Datenmenge abhängig. Der Auszug enthält keine detaillierten Messwerte oder Versuchsangaben; die Reichweite und Stärke der Befunde lässt sich daraus allein nicht genauer einschätzen.

Ausführlich lesen

Der bereitgestellte Text ist ein Auszug aus dem Abstract eines ICLR-2024-Beitrags, kein vollständiger Bericht. Er untersucht, wie sich verschiedene Größenfaktoren auf die Leistung beim Feinabstimmen großer Sprachmodelle auswirken. Die Autorinnen und Autoren begründen die Arbeit damit, dass die Skalierungseigenschaften verschiedener Feinabstimmungsmethoden bislang nur begrenzt verstanden seien.

Verglichen werden zwei Ansätze: die Anpassung des gesamten Modells (FMT) sowie parameter-effiziente Verfahren (PET), darunter Prompt Tuning und LoRA. Betrachtet werden die Größe des Sprachmodells, der Umfang seiner Vortrainingsdaten, die Zahl neu eingeführter Feinabstimmungsparameter und die Menge der Feinabstimmungsdaten. Die Experimente konzentrieren sich auf datenbegrenzte Situationen, in denen das vortrainierte Modell wesentlich größer ist als die verfügbare Feinabstimmungsmenge. Als Grundlage dienen laut Abstract zwei Gruppen vortrainierter bilingualer Sprachmodelle mit Größen von 1 bis 16 Milliarden Parametern sowie Aufgaben aus der bilingualen maschinellen Übersetzung und der mehrsprachigen Zusammenfassung.

Die Autorinnen und Autoren berichten drei zentrale Ergebnisse. Erstens folge die Feinabstimmungsleistung einem multiplikativen gemeinsamen Skalierungsgesetz mit Potenzbeziehungen zwischen der Menge der Feinabstimmungsdaten und den jeweils betrachteten anderen Skalierungsfaktoren. Zweitens profitiere die Leistung stärker von einer Vergrößerung des Sprachmodells als von mehr Vortrainingsdaten; eine Vergrößerung der PET-Parameter sei im Allgemeinen wenig wirksam. Drittens hänge die beste Feinabstimmungsmethode stark von der konkreten Aufgabe und der verfügbaren Feinabstimmungsdatenmenge ab.

Diese Aussagen sind Zusammenfassungen der im Abstract berichteten Befunde. Der vorliegende Auszug enthält keine Einzelheiten zu Versuchsaufbau, Messwerten, Unsicherheiten oder den genauen Formen der Skalierungsgesetze. Daher lässt sich daraus nicht beurteilen, wie groß die beobachteten Effekte waren oder wie weit sie über die genannten Modellgruppen und Aufgaben hinaus gelten.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 37 %beantwortet teilweise oder widerspricht
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →