I ran a 35-billion-parameter AI model at 128 tokens per second on a $429 GPU
Zusammenfassung
Kurz
Der Autor gibt an, ein lokal quantisiertes 35B-Modell auf einer 16-GB-Grafikkarte mit bis zu 128 Tokens pro Sekunde auszuführen, und beschreibt dafür Hardware, Softwarekonfiguration und Einrichtung. Die Benchmarks und vier Coding-Beispiele sind Selbstauskünfte des Beitrags; eine unabhängige Überprüfung wird nicht genannt.
Mittel
Der Autor berichtet, ein 35-Milliarden-Parameter-MoE-Modell auf einer RTX 5060 Ti mit 16 GB VRAM für 429 US-Dollar lokal mit bis zu 128 Tokens pro Sekunde betrieben zu haben. Möglich werde dies durch das Modell Qwen3.6–35B-A3B, die Quantisierung IQ3_K_R4 auf etwa 15 GB und den Laufzeit-Fork `ik_llama.cpp`. Der Beitrag enthält eine Anleitung zum CUDA-Bau, Herunterladen und erneuten Quantisieren des Modells sowie zum Start des Inferenzservers. Laut den angegebenen Benchmarks erreicht eine Konfiguration ohne Vision Encoder 128 Tokens pro Sekunde bei rund 131.000 Tokens Kontext; mit Vision Encoder seien es 92 Tokens pro Sekunde bei 64.000 Tokens. Der Autor schildert außerdem vier Coding-Demonstrationen, die überwiegend ohne nachträgliche Korrekturen gelungen seien.
Er hält 32 GB System-RAM für ausreichend, sofern 16 GB VRAM verfügbar sind. Bei weniger VRAM könnten kleinere Modelle oder mehr CPU-Auslagerung nötig sein. Die Einrichtung erfordert laut Beitrag einen speziellen Runtime-Fork und eigene Quantisierung. Messwerte und Qualitätsbeispiele werden vom Autor berichtet; eine unabhängige Überprüfung oder systematische Vergleichsauswertung enthält der Text nicht.
Ausführlich lesen
Der Beitrag beschreibt, wie der Autor nach eigener Darstellung ein lokal betriebenes Sprachmodell mit 35 Milliarden Gesamtparametern auf einer RTX 5060 Ti mit 16 GB VRAM für 429 US-Dollar ausführt. Er gibt eine anhaltende Erzeugungsrate von 128 Tokens pro Sekunde an und behauptet, diese bleibe auch bei sehr langem Kontext nahezu konstant. Als Vergleich nennt er übliche Cloud-Dienste mit 30 bis 60 Tokens pro Sekunde. Die Zahlen und Vergleiche stammen aus dem Beitrag; unabhängige Prüfdaten werden nicht vorgelegt.
Die Leistung führt der Autor vor allem auf die Kombination aus Hardware, Modell und Laufzeit zurück: Das MoE-Modell Qwen3.6–35B-A3B aktiviert laut Text jeweils nur einen Teil seiner 35 Milliarden Parameter. Es wird mit dem Format IQ3_K_R4 auf eine rund 15 GB große Datei komprimiert, damit es in den Grafikspeicher passt. Dafür verwendet der Beitrag den `ik_llama.cpp`-Fork, der dieses Quantisierungsformat unterstützt. Der Artikel nennt außerdem Einstellungen für Flash Attention, einen auf vier Bit komprimierten KV-Cache und das teilweise Auslagern von MoE-Schichten auf die CPU.
Die Anleitung umfasst den Bau der Laufzeit mit CUDA, das Herunterladen eines etwa 36,9 GB großen Q8_0-Ausgangsmodells und dessen erneute Quantisierung. Dafür seien eine aktuelle CMake-Version und der Parameter `--leave-output-tensor` wichtig; letzterer lasse die Ausgabeschicht in voller Präzision und soll laut Autor die Antwortqualität erhalten. Der Inferenzserver wird mit einer Kontextgröße von 131.072 Tokens gestartet. In der Benchmark-Tabelle nennt der Beitrag für eine Konfiguration ohne Vision Encoder 128 Tokens pro Sekunde bei einem Kontextfenster von 131.000 Tokens. Mit Vision Encoder für einen Coding-Agenten seien es 92 Tokens pro Sekunde bei 64.000 Tokens. An anderer Stelle beziffert der Autor den Geschwindigkeitsrückgang bis 139.000 Tokens Kontext auf zwei Prozent. Die Prompt-Verarbeitung sinke demnach von 1.814 Tokens pro Sekunde bei 16.000 auf 1.292 bei 139.000 Tokens. Diese Angaben werden im Text berichtet, aber nicht durch unabhängige Messungen belegt.
Zur praktischen Qualität schildert der Autor vier selbst durchgeführte Programmieraufgaben mit Hermes Agent: eine Vogelschwarm-Simulation, einen koronalen Massenauswurf, eine Glühwürmchen-Wiese und eine isometrische 3D-Stadt. Die ersten drei Ergebnisse seien jeweils ohne Korrekturen gelungen; die Stadt sei ebenfalls beim ersten Durchgang entstanden und später auf Nachfrage erweitert worden. Der Beitrag beschreibt diese Beispiele, nennt aber kein unabhängiges Bewertungsverfahren für Codequalität oder Vergleich mit anderen Modellen.
Für den Speicherbedarf hält der Autor 96 GB Arbeitsspeicher nicht für nötig und schätzt 32 GB System-RAM als ausreichend ein; entscheidend seien die 16 GB VRAM. Bei 8 oder 12 GB VRAM seien kleinere Modelle oder mehr CPU-Auslagerung erforderlich. Als Einschränkung nennt er den zusätzlichen Aufwand: `ik_llama.cpp` müsse aus dem Quellcode gebaut werden, und das Modell müsse selbst quantisiert werden. Insgesamt ist der Text ein Erfahrungs- und Replikationsbericht mit konkreten Konfigurationsangaben, dessen Leistungs- und Qualitätsaussagen auf den Messungen und Beispielen des Autors beruhen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Zwei Fassungen von Luna lagen vor. Beide sind inhaltlich treu und enthalten keine erfundenen Angaben, lassen aber die Cloud-Vergleichsaussage und die Konstanz des Tempos über den Kontext aus; die kurze Fassung ist dabei am knappsten. Die Einordnung stützt sich auf den Bericht; Lunas Stufen wurden unabhängig vergeben.
Im Bericht, aber nicht in der Zusammenfassung
- Die Aussage, das Setup sei gegenüber Cloud-API-Endpunkten konkurrenzfähig oder schneller als deren typisches Streaming
- Das Tempo bleibt von 0 bis 139.000 Tokens Kontext nahezu gleich (2 % Abfall bei maximaler Tiefe)
- Der Vergleich mit einer RTX 5070 Ti, die mit mainline llama.cpp bei jeder Kontexttiefe langsamer sei
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 69 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %einzelne zitierbare Belege
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 42 %einzelne zitierbare Belege
- JEV 47 %umfangreiche Belege
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 61 %einzelne zitierbare Belege
- JEV 33 %beantwortet teilweise oder widerspricht
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 70 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 52 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung einzelne zitierbare Belege
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %einzelne zitierbare Belege
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv