Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com9. Mai 2026 · Q011278

I ran a 35-billion-parameter AI model at 128 tokens per second on a $429 GPU

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Autor gibt an, ein lokal quantisiertes 35B-Modell auf einer 16-GB-Grafikkarte mit bis zu 128 Tokens pro Sekunde auszuführen, und beschreibt dafür Hardware, Softwarekonfiguration und Einrichtung. Die Benchmarks und vier Coding-Beispiele sind Selbstauskünfte des Beitrags; eine unabhängige Überprüfung wird nicht genannt.

Mittel

Der Autor berichtet, ein 35-Milliarden-Parameter-MoE-Modell auf einer RTX 5060 Ti mit 16 GB VRAM für 429 US-Dollar lokal mit bis zu 128 Tokens pro Sekunde betrieben zu haben. Möglich werde dies durch das Modell Qwen3.6–35B-A3B, die Quantisierung IQ3_K_R4 auf etwa 15 GB und den Laufzeit-Fork `ik_llama.cpp`. Der Beitrag enthält eine Anleitung zum CUDA-Bau, Herunterladen und erneuten Quantisieren des Modells sowie zum Start des Inferenzservers. Laut den angegebenen Benchmarks erreicht eine Konfiguration ohne Vision Encoder 128 Tokens pro Sekunde bei rund 131.000 Tokens Kontext; mit Vision Encoder seien es 92 Tokens pro Sekunde bei 64.000 Tokens. Der Autor schildert außerdem vier Coding-Demonstrationen, die überwiegend ohne nachträgliche Korrekturen gelungen seien.

Er hält 32 GB System-RAM für ausreichend, sofern 16 GB VRAM verfügbar sind. Bei weniger VRAM könnten kleinere Modelle oder mehr CPU-Auslagerung nötig sein. Die Einrichtung erfordert laut Beitrag einen speziellen Runtime-Fork und eigene Quantisierung. Messwerte und Qualitätsbeispiele werden vom Autor berichtet; eine unabhängige Überprüfung oder systematische Vergleichsauswertung enthält der Text nicht.

Ausführlich lesen

Der Beitrag beschreibt, wie der Autor nach eigener Darstellung ein lokal betriebenes Sprachmodell mit 35 Milliarden Gesamtparametern auf einer RTX 5060 Ti mit 16 GB VRAM für 429 US-Dollar ausführt. Er gibt eine anhaltende Erzeugungsrate von 128 Tokens pro Sekunde an und behauptet, diese bleibe auch bei sehr langem Kontext nahezu konstant. Als Vergleich nennt er übliche Cloud-Dienste mit 30 bis 60 Tokens pro Sekunde. Die Zahlen und Vergleiche stammen aus dem Beitrag; unabhängige Prüfdaten werden nicht vorgelegt.

Die Leistung führt der Autor vor allem auf die Kombination aus Hardware, Modell und Laufzeit zurück: Das MoE-Modell Qwen3.6–35B-A3B aktiviert laut Text jeweils nur einen Teil seiner 35 Milliarden Parameter. Es wird mit dem Format IQ3_K_R4 auf eine rund 15 GB große Datei komprimiert, damit es in den Grafikspeicher passt. Dafür verwendet der Beitrag den `ik_llama.cpp`-Fork, der dieses Quantisierungsformat unterstützt. Der Artikel nennt außerdem Einstellungen für Flash Attention, einen auf vier Bit komprimierten KV-Cache und das teilweise Auslagern von MoE-Schichten auf die CPU.

Die Anleitung umfasst den Bau der Laufzeit mit CUDA, das Herunterladen eines etwa 36,9 GB großen Q8_0-Ausgangsmodells und dessen erneute Quantisierung. Dafür seien eine aktuelle CMake-Version und der Parameter `--leave-output-tensor` wichtig; letzterer lasse die Ausgabeschicht in voller Präzision und soll laut Autor die Antwortqualität erhalten. Der Inferenzserver wird mit einer Kontextgröße von 131.072 Tokens gestartet. In der Benchmark-Tabelle nennt der Beitrag für eine Konfiguration ohne Vision Encoder 128 Tokens pro Sekunde bei einem Kontextfenster von 131.000 Tokens. Mit Vision Encoder für einen Coding-Agenten seien es 92 Tokens pro Sekunde bei 64.000 Tokens. An anderer Stelle beziffert der Autor den Geschwindigkeitsrückgang bis 139.000 Tokens Kontext auf zwei Prozent. Die Prompt-Verarbeitung sinke demnach von 1.814 Tokens pro Sekunde bei 16.000 auf 1.292 bei 139.000 Tokens. Diese Angaben werden im Text berichtet, aber nicht durch unabhängige Messungen belegt.

Zur praktischen Qualität schildert der Autor vier selbst durchgeführte Programmieraufgaben mit Hermes Agent: eine Vogelschwarm-Simulation, einen koronalen Massenauswurf, eine Glühwürmchen-Wiese und eine isometrische 3D-Stadt. Die ersten drei Ergebnisse seien jeweils ohne Korrekturen gelungen; die Stadt sei ebenfalls beim ersten Durchgang entstanden und später auf Nachfrage erweitert worden. Der Beitrag beschreibt diese Beispiele, nennt aber kein unabhängiges Bewertungsverfahren für Codequalität oder Vergleich mit anderen Modellen.

Für den Speicherbedarf hält der Autor 96 GB Arbeitsspeicher nicht für nötig und schätzt 32 GB System-RAM als ausreichend ein; entscheidend seien die 16 GB VRAM. Bei 8 oder 12 GB VRAM seien kleinere Modelle oder mehr CPU-Auslagerung erforderlich. Als Einschränkung nennt er den zusätzlichen Aufwand: `ik_llama.cpp` müsse aus dem Quellcode gebaut werden, und das Modell müsse selbst quantisiert werden. Insgesamt ist der Text ein Erfahrungs- und Replikationsbericht mit konkreten Konfigurationsangaben, dessen Leistungs- und Qualitätsaussagen auf den Messungen und Beispielen des Autors beruhen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Zwei Fassungen von Luna lagen vor. Beide sind inhaltlich treu und enthalten keine erfundenen Angaben, lassen aber die Cloud-Vergleichsaussage und die Konstanz des Tempos über den Kontext aus; die kurze Fassung ist dabei am knappsten. Die Einordnung stützt sich auf den Bericht; Lunas Stufen wurden unabhängig vergeben.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Aussage, das Setup sei gegenüber Cloud-API-Endpunkten konkurrenzfähig oder schneller als deren typisches Streaming
  • Das Tempo bleibt von 0 bis 139.000 Tokens Kontext nahezu gleich (2 % Abfall bei maximaler Tiefe)
  • Der Vergleich mit einer RTX 5070 Ti, die mit mainline llama.cpp bei jeder Kontexttiefe langsamer sei

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 54 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 42 %einzelne zitierbare Belege
    • JEV 47 %umfangreiche Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 61 %einzelne zitierbare Belege
    • JEV 33 %beantwortet teilweise oder widerspricht
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 52 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung einzelne zitierbare Belege
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 38 %einzelne zitierbare Belege
    • amos 56 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →