Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind13. Juli 2025 · Q006051

SLIM: ONE-SHOT QUANTIZED SPARSE PLUS LOW-RANK APPROXIMATION OF LLMS

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Auszug enthält nur den Abstract und Metadaten: Er beschreibt SLIM als Verfahren, das Quantisierung, Sparsität und Low-Rank-Adapter zur einmaligen Komprimierung von Sprachmodellen verbindet. Die Autoren berichten Genauigkeits- und Geschwindigkeitsverbesserungen sowie geringeren Speicherbedarf, doch der Auszug liefert keine Versuchsdetails, anhand derer sich Reichweite und Vergleichbarkeit dieser Ergebnisse beurteilen ließen.

Mittel

Der bereitgestellte Bericht ist ein Abstract mit Publikationsangaben, kein vollständiger Artikel. Er beschreibt SLIM als One-Shot-Verfahren zur Komprimierung großer Sprachmodelle, das gleichmäßige Quantisierung, halbstrukturiertes Pruning und Low-Rank-Adapter kombiniert. Eine probabilistische Formulierung ermöglicht laut Abstract die Quantisierung; eine Salienzfunktion soll den kombinierten Fehler aus Quantisierung und Sparsität ausgleichen und die Adapterwerte berechenbar machen.

Die Autoren berichten bei LLaMA-2-7B mit 2:4-Sparsamkeit und 4-Bit-Gewichten von bis zu 5,66 Prozent mehr Genauigkeit als bei früheren Methoden. Sie nennen außerdem bis zu 4,3-fachen Layer-Speedup auf einer RTX 3060, bis zu 3,8-fachen auf einer A100 und eine Speicherreduktion auf bis zu 0,23 des dichten Modells. Eine optionale PEFT-Rezeptur habe bei LLaMA-2-13B die Genauigkeit gegenüber SLIM ohne Fine-Tuning um bis zu 1,66 Prozent gesteigert. Das sind Abstract-Angaben; Versuchsdetails und die Gültigkeit über diese Beispiele hinaus sind im Auszug nicht beschrieben.

Ausführlich lesen

Der bereitgestellte Bericht enthält den Abstract und einige Publikationsangaben zu SLIM, nicht den vollständigen Artikel. Die Autoren stellen SLIM als einstufiges Verfahren zur Komprimierung großer Sprachmodelle vor. Es soll Speicherbedarf und Inferenzzeit verringern, ohne das bei herkömmlicher Komprimierung oft nötige rechenintensive Nachtraining. Zugleich soll es die Genauigkeit dichter Modelle besser bewahren als frühere One-Shot-Verfahren.

SLIM verbindet laut Abstract drei Schritte: Zunächst wird die Quantisierung probabilistisch formuliert, sodass gleichmäßige Quantisierung möglich ist. Anschließend wird eine bestehende One-Shot-Pruning-Methode angewandt, um die quantisierten Gewichte halbstrukturiert auszudünnen. Schließlich soll eine neuartige Salienzfunktion den zusammengefassten Fehler aus Quantisierung und Sparsität ausgleichen. Ihre laut Bericht invertierbaren und additiven Eigenschaften sollen es ermöglichen, den Wert von Low-Rank-Adaptern mathematisch zu berechnen.

Als Ergebnis nennen die Autoren für LLaMA-2-7B bei 2:4-Sparsamkeit und 4-Bit-Gewichtsquantisierung eine Genauigkeitsverbesserung von bis zu 5,66 Prozent gegenüber früheren Verfahren. Für komprimierte Modelle berichtet der Abstract außerdem bis zu 4,3-fache Layer-Speedups auf einer Nvidia RTX 3060 und bis zu 3,8-fache auf einer A100. Der Speicherbedarf sinke gegenüber den dichten Vergleichsmodellen um bis zu den Faktor 0,23. Eine optionale PEFT-Rezeptur soll die Genauigkeit gegenüber SLIM ohne Fine-Tuning bei LLaMA-2-13B um bis zu 1,66 Prozent weiter erhöhen.

Diese Zahlen sind Angaben der Autoren im Abstract. Der bereitgestellte Auszug erläutert weder die Versuchsbedingungen und Vergleichsmaßstäbe noch die genaue Bedeutung der Prozentangaben oder die Übertragbarkeit auf andere Modelle und Hardware. Er belegt daher keine allgemeine Verbesserung für alle LLMs. Als Publikationsort wird ICML 2025 genannt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →