The Best Local LLM Setup on a Single RTX 3090
Zusammenfassung
Kurz
Der Autor empfiehlt für eine einzelne RTX 3090 Qwen 3.5 27B Dense in Q4_K_M mit Flash Attention und berichtet dabei von etwa 35 Tokens/s bis zu sehr langen Kontexten. Für ein 3090/3060-System schreibt er den gemessenen Leistungsabfall teilweise fehlender Flash Attention zu, weist aber auf die Bandbreitenbegrenzung der schwächeren Karte hin. Die Ergebnisse beruhen auf begrenzten eigenen Tests und einem Bekannten-Setup; AMD wurde noch nicht benchmarked.
Mittel
Der Autor stellt eine lokale LLM-Konfiguration für eine einzelne RTX 3090 mit 24 GB vor: Qwen 3.5 27B Dense in Q4_K_M, mit bis zu 262.144 Tokens Kontext. Er berichtet von etwa 35 Tokens pro Sekunde, die von 4K bis über 300K Kontext stabil blieben, und empfiehlt dafür unter anderem Flash Attention sowie quantisierte K- und V-KV-Caches. Als Vorteile nennt er die vollständige Aktivierung aller 27B Parameter pro Token und erhaltenes Reasoning trotz Q4-Quantisierung. MoE-Modelle seien schneller, böten seiner Einschätzung nach aber weniger Tiefe pro Token; ein dichtes Hermes-Modell habe unter längerer Last nachgelassen.
Bei einer Bekannten-Konfiguration mit RTX 3090 und 3060 fielen die angegebenen Werte von 71,1 Tokens/s bei rund 4K auf 40,9 bei 96K. Der Autor vermutet fehlende Flash Attention als wesentlichen Grund und erwartet, dass `-fa` den Rückgang größtenteils verhindert. Die unterschiedliche Speicherbandbreite der GPUs bleibe jedoch ein Engpass. Er empfiehlt daher für Multi-GPU-Systeme möglichst gleichartige Karten. Die Behauptungen beruhen auf den eigenen Tests und einem einzelnen fremden Setup; ausführliche standardisierte Vergleichsdaten fehlen. AMD-ROCm wurde noch nicht getestet.
Ausführlich lesen
Der Bericht beschreibt die Suche des Autors nach einer leistungsfähigen lokalen LLM-Konfiguration für eine einzelne RTX 3090 mit 24 GB VRAM. Er sagt, im Laufe eines Monats fünf Open-Source-Modelle mit sieben GPU-Konfigurationen getestet zu haben. Seine bevorzugte Lösung sei Qwen 3.5 27B Dense in der Quantisierung Q4_K_M: Das Modell belege laut Bericht 16,7 GB, nutze ein Kontextfenster von 262.144 Tokens und erzeuge etwa 35 Tokens pro Sekunde. Der Autor berichtet, diese Geschwindigkeit bleibe von 4K bis über 300K Kontext weitgehend konstant. Als zentrale Einstellungen nennt er vollständiges GPU-Offloading, Flash Attention sowie quantisierte K- und V-KV-Caches.
Als Vorteile führt er an, dass beim dichten 27B-Modell alle Parameter für jedes Token aktiv seien, die Leistung bei wachsendem Kontext stabil bleibe und die Reasoning-Fähigkeit auch mit Q4-Quantisierung erhalten werde. MoE-Modelle seien zwar schneller, böten nach seiner Einschätzung aber weniger aktive Parameter pro Token und damit weniger Tiefe bei Schlussfolgerungsaufgaben. Ein dichtes Hermes-Modell habe zunächst ähnlich schnell gearbeitet, unter längerer Last jedoch nachgelassen. Diese Vergleiche werden im Text nicht mit ausführlichen Messreihen oder standardisierten Aufgaben belegt.
Zusätzlich schildert der Autor die Konfiguration eines Bekannten mit einer RTX 3090 und einer RTX 3060, die Qwen3.5-35B-A3B mit Q4_K_XL und einem Kontext von 131.072 Tokens ausführt. Die angegebenen Messwerte sinken von 71,1 Tokens pro Sekunde bei etwa 4K Promptgröße auf 58,6 bei 32K und 40,9 bei 96K. Der Autor führt den Rückgang vor allem auf fehlende Flash Attention zurück und empfiehlt, `-fa` hinzuzufügen. Das solle den kontextbedingten Leistungsabfall weitgehend verringern. Als verbleibende Einschränkung nennt er die geringere Speicherbandbreite der RTX 3060: Bei einer Aufteilung über beide Karten könne die langsamere GPU die Gesamtleistung begrenzen.
Der Bericht erklärt die Leistungseinbußen mit wachsendem KV-Cache und konkurrierendem Speicherbandbreitenbedarf; Flash Attention solle den Cache effizienter handhaben. Daraus leitet der Autor ab, dass eine gut konfigurierte einzelne RTX 3090 bei anhaltender Nutzung eine gemischte 3090/3060-Konfiguration übertreffen könne, während mehrere möglichst gleichartige GPUs größere Modelle ermöglichen könnten. Die Aussagen beruhen auf den beschriebenen Tests und einem einzelnen Beispiel eines Bekannten. AMD-ROCm-Leistung wurde ausdrücklich noch nicht gemessen; zudem kündigt der Autor weitere Vergleiche zwischen MoE- und dichten Modellen an.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas kurze und mittlere Zusammenfassung wurden gemeinsam geprüft; beide geben die Kernaussagen korrekt wieder, die Mängel betreffen Charakterisierungen und Auslassungen. Es gab nur die Sammelfrage SF-V5 und keine Teilfragen, daher wurde nur SF-V5 bewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Einzelkarten-MoE-Ergebnis des Autors von etwa 112 tok/s als Vergleichswert zum 3090+3060-Setup
- Erklärung über Speicherbandbreite und KV-Cache, warum Flash Attention den Kontextabfall verhindert
- Aussage, dass Flash Attention bei Einzelkarten das wirkungsvollste einzelne Flag ist
- Halbe Speicherbandbreite der 3060 gegenüber der 3090 als Ursache der Bremswirkung
- Die Empfehlung zu -fa ist eine Erwartung des Autors und nicht getestet
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Charakterisierung der eigenen Tests als begrenzt (der Bericht nennt 5 Modelle auf 7 GPU-Konfigurationen)
- Behauptung, es fehlten ausführliche standardisierte Vergleichsdaten (steht so nicht im Bericht)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 35 %einzelne zitierbare Belege
- JEV 36 %umfangreiche Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung einzelne zitierbare Belege
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %nur am Rande erwähnt
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug