Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com7. März 2026 · Q011290

The Best Local LLM Setup on a Single RTX 3090

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Autor empfiehlt für eine einzelne RTX 3090 Qwen 3.5 27B Dense in Q4_K_M mit Flash Attention und berichtet dabei von etwa 35 Tokens/s bis zu sehr langen Kontexten. Für ein 3090/3060-System schreibt er den gemessenen Leistungsabfall teilweise fehlender Flash Attention zu, weist aber auf die Bandbreitenbegrenzung der schwächeren Karte hin. Die Ergebnisse beruhen auf begrenzten eigenen Tests und einem Bekannten-Setup; AMD wurde noch nicht benchmarked.

Mittel

Der Autor stellt eine lokale LLM-Konfiguration für eine einzelne RTX 3090 mit 24 GB vor: Qwen 3.5 27B Dense in Q4_K_M, mit bis zu 262.144 Tokens Kontext. Er berichtet von etwa 35 Tokens pro Sekunde, die von 4K bis über 300K Kontext stabil blieben, und empfiehlt dafür unter anderem Flash Attention sowie quantisierte K- und V-KV-Caches. Als Vorteile nennt er die vollständige Aktivierung aller 27B Parameter pro Token und erhaltenes Reasoning trotz Q4-Quantisierung. MoE-Modelle seien schneller, böten seiner Einschätzung nach aber weniger Tiefe pro Token; ein dichtes Hermes-Modell habe unter längerer Last nachgelassen.

Bei einer Bekannten-Konfiguration mit RTX 3090 und 3060 fielen die angegebenen Werte von 71,1 Tokens/s bei rund 4K auf 40,9 bei 96K. Der Autor vermutet fehlende Flash Attention als wesentlichen Grund und erwartet, dass `-fa` den Rückgang größtenteils verhindert. Die unterschiedliche Speicherbandbreite der GPUs bleibe jedoch ein Engpass. Er empfiehlt daher für Multi-GPU-Systeme möglichst gleichartige Karten. Die Behauptungen beruhen auf den eigenen Tests und einem einzelnen fremden Setup; ausführliche standardisierte Vergleichsdaten fehlen. AMD-ROCm wurde noch nicht getestet.

Ausführlich lesen

Der Bericht beschreibt die Suche des Autors nach einer leistungsfähigen lokalen LLM-Konfiguration für eine einzelne RTX 3090 mit 24 GB VRAM. Er sagt, im Laufe eines Monats fünf Open-Source-Modelle mit sieben GPU-Konfigurationen getestet zu haben. Seine bevorzugte Lösung sei Qwen 3.5 27B Dense in der Quantisierung Q4_K_M: Das Modell belege laut Bericht 16,7 GB, nutze ein Kontextfenster von 262.144 Tokens und erzeuge etwa 35 Tokens pro Sekunde. Der Autor berichtet, diese Geschwindigkeit bleibe von 4K bis über 300K Kontext weitgehend konstant. Als zentrale Einstellungen nennt er vollständiges GPU-Offloading, Flash Attention sowie quantisierte K- und V-KV-Caches.

Als Vorteile führt er an, dass beim dichten 27B-Modell alle Parameter für jedes Token aktiv seien, die Leistung bei wachsendem Kontext stabil bleibe und die Reasoning-Fähigkeit auch mit Q4-Quantisierung erhalten werde. MoE-Modelle seien zwar schneller, böten nach seiner Einschätzung aber weniger aktive Parameter pro Token und damit weniger Tiefe bei Schlussfolgerungsaufgaben. Ein dichtes Hermes-Modell habe zunächst ähnlich schnell gearbeitet, unter längerer Last jedoch nachgelassen. Diese Vergleiche werden im Text nicht mit ausführlichen Messreihen oder standardisierten Aufgaben belegt.

Zusätzlich schildert der Autor die Konfiguration eines Bekannten mit einer RTX 3090 und einer RTX 3060, die Qwen3.5-35B-A3B mit Q4_K_XL und einem Kontext von 131.072 Tokens ausführt. Die angegebenen Messwerte sinken von 71,1 Tokens pro Sekunde bei etwa 4K Promptgröße auf 58,6 bei 32K und 40,9 bei 96K. Der Autor führt den Rückgang vor allem auf fehlende Flash Attention zurück und empfiehlt, `-fa` hinzuzufügen. Das solle den kontextbedingten Leistungsabfall weitgehend verringern. Als verbleibende Einschränkung nennt er die geringere Speicherbandbreite der RTX 3060: Bei einer Aufteilung über beide Karten könne die langsamere GPU die Gesamtleistung begrenzen.

Der Bericht erklärt die Leistungseinbußen mit wachsendem KV-Cache und konkurrierendem Speicherbandbreitenbedarf; Flash Attention solle den Cache effizienter handhaben. Daraus leitet der Autor ab, dass eine gut konfigurierte einzelne RTX 3090 bei anhaltender Nutzung eine gemischte 3090/3060-Konfiguration übertreffen könne, während mehrere möglichst gleichartige GPUs größere Modelle ermöglichen könnten. Die Aussagen beruhen auf den beschriebenen Tests und einem einzelnen Beispiel eines Bekannten. AMD-ROCm-Leistung wurde ausdrücklich noch nicht gemessen; zudem kündigt der Autor weitere Vergleiche zwischen MoE- und dichten Modellen an.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas kurze und mittlere Zusammenfassung wurden gemeinsam geprüft; beide geben die Kernaussagen korrekt wieder, die Mängel betreffen Charakterisierungen und Auslassungen. Es gab nur die Sammelfrage SF-V5 und keine Teilfragen, daher wurde nur SF-V5 bewertet.

Im Bericht, aber nicht in der Zusammenfassung

  • Einzelkarten-MoE-Ergebnis des Autors von etwa 112 tok/s als Vergleichswert zum 3090+3060-Setup
  • Erklärung über Speicherbandbreite und KV-Cache, warum Flash Attention den Kontextabfall verhindert
  • Aussage, dass Flash Attention bei Einzelkarten das wirkungsvollste einzelne Flag ist
  • Halbe Speicherbandbreite der 3060 gegenüber der 3090 als Ursache der Bremswirkung
  • Die Empfehlung zu -fa ist eine Erwartung des Autors und nicht getestet

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Charakterisierung der eigenen Tests als begrenzt (der Bericht nennt 5 Modelle auf 7 GPU-Konfigurationen)
  • Behauptung, es fehlten ausführliche standardisierte Vergleichsdaten (steht so nicht im Bericht)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 35 %einzelne zitierbare Belege
    • JEV 36 %umfangreiche Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung einzelne zitierbare Belege
Modelle teilen und schützen
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →