Fine-Tuning LLMs on NVIDIA DGX Spark with Unsloth
Zusammenfassung
Kurz
Der Autor beschreibt einen lokalen Fine-Tuning- und RL-Ablauf mit Unsloth auf dem DGX Spark und berichtet, sein Modell habe nach etwa vier Stunden Training im Spiel 2048 das ursprüngliche Modell übertroffen. Die Angaben zu Leistung und Speicherverbrauch beruhen auf seinem Erfahrungsbericht; detaillierte Testmethoden und Trainingsparameter fehlen.
Mittel
Code Coup schildert, wie der Autor mit Unsloth auf einem NVIDIA DGX Spark ein Sprachmodell lokal feinabgestimmt und für das Spiel 2048 per Reinforcement Learning trainiert haben will. Der DGX Spark biete laut Bericht 128 GB gemeinsamen Speicher; für QLoRA-Fine-Tuning des gpt-oss-120B in 4-Bit nennt der Autor einen Bedarf von ungefähr 68 GB. Als praktische Anleitung beschreibt er, ein Unsloth-Dockerfile herunterzuladen, ein Image zu bauen, einen Container mit GPU-Zugriff zu starten und darin Jupyter mit einem RL-Notebook für 2048 auszuführen. Nach dem Training werde das Modell lokal geladen und könne Spielzüge erzeugen.
Der Autor berichtet, dass sein Modell nach rund 1.000 RL-Schritten beziehungsweise etwa vier Stunden das ursprüngliche Modell im Spiel übertroffen habe. Zudem seien Belohnungskurve und Speicherverhalten stabil gewesen. Das sind persönliche Angaben: Der Beitrag enthält keine ausführliche Testmethodik, Vergleichsdaten oder vollständigen Trainingsparameter. Die Ergebnisse und Laufzeit lassen sich anhand des Berichts daher nicht unabhängig überprüfen oder verallgemeinern.
Ausführlich lesen
Der Bericht von Code Coup beschreibt, wie der Autor große Sprachmodelle mit Unsloth auf einem NVIDIA DGX Spark lokal feinabgestimmt und per Reinforcement Learning trainiert haben will. Als Motivation nennt er die wachsenden Kosten von Cloud-GPUs und den Wunsch nach mehr Kontrolle. Der DGX Spark biete laut Beitrag 128 GB gemeinsamen Speicher; Unsloth optimiere den Speicherbedarf und unterstütze sowohl Fine-Tuning als auch RL. Als Beispiele führt der Autor gpt-oss-20B für Experimente und gpt-oss-120B an, für dessen QLoRA-Fine-Tuning in 4-Bit er rund 68 GB Unified Memory angibt.
Die Anleitung beginnt mit dem Bezug eines von Unsloth bereitgestellten Dockerfiles für den DGX Spark. Danach wird daraus ein Docker-Image gebaut und ein Container mit GPU-Zugriff gestartet. Dabei werden unter anderem das Arbeitsverzeichnis und der lokale Hugging-Face-Cache eingebunden. Im Container lädt der Autor ein Jupyter-Notebook für Reinforcement Learning im Spiel 2048 herunter und startet Jupyter. Auf dem DGX Spark könne man laut Beitrag die Installationszellen überspringen, weil die Umgebung bereits vorbereitet sei. Anschließend werden die Notebook-Zellen ausgeführt; nach dem Training lasse sich das Modell lokal laden und für eine Spielzugantwort abfragen.
Als Ergebnis berichtet der Autor, sein Modell habe nach etwa 1.000 RL-Schritten beziehungsweise ungefähr vier Stunden im Spiel 2048 besser abgeschnitten als das ursprüngliche Modell. Außerdem beschreibt er eine stetig steigende Belohnungskurve und einen stabilen Trainingslauf ohne Abstürze oder Speicherfehler. Diese Ergebnisse sind Erfahrungsberichte des Autors. Der Beitrag stellt sie nicht als unabhängige Messungen dar.
Die Darstellung ist eine praktische Schritt-für-Schritt-Anleitung mit Befehlen und einem konkreten Notebook-Beispiel. Ihre belegte Reichweite bleibt jedoch begrenzt: Es werden keine detaillierten Vergleichsdaten, Testmethoden oder vollständigen Angaben zu Trainingsparametern und Auswertung des 2048-Ergebnisses genannt. Daher lässt sich aus dem Bericht allein weder die behauptete Überlegenheit des trainierten Modells unabhängig prüfen noch ableiten, dass dieselben Laufzeiten und Speicherwerte allgemein gelten. Der Schwerpunkt liegt auf einem persönlichen lokalen Arbeitsablauf und dem Eindruck, dass Fine-Tuning und RL auf der genannten Hardware zugänglich sein können.
Gegengeprüft von Claude Haiku 5.5: ok
Es lagen zwei Fassungen von Lunas Zusammenfassung vor (kurz und mittel); beide wurden gemeinsam geprüft, da sie keine Fehler oder Erfindungen enthalten. Die Liste der fehlenden Punkte betrifft nur Nebenaspekte, zentrale Aussagen sind abgedeckt. Die Einordnung betrifft nur die drei angegebenen Sammelfragen, Teilfragen gab es nicht.
Im Bericht, aber nicht in der Zusammenfassung
- Motivation: Cloud-Kosten und der Wunsch nach mehr Kontrolle
- gpt-oss-20B als schneller Einstieg für Experimente
- Hinweis, dass die Installationszellen im Notebook auf dem DGX Spark übersprungen werden können
- Einbindung des Hugging-Face-Caches, damit Modelle nicht erneut geladen werden
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 43 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 30 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 75 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 25 %Hintergrund, keine Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 46 %gleiches Oberthema, hilft nicht
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 25 %nur am Rande erwähnt
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 52 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv