Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com25. August 2026 · Q011210

381 Tokens/Second on a Single RTX 3090? This Developer Turned a 24GB GPU Into a Qwen Inference Monster

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Laut Bericht erreicht ein Entwickler mit einem quantisierten Qwen3.8-27B-Modell auf einer RTX 3090 bis zu rund 381 Tokens pro Sekunde, wenn die Antwort weitgehend aus einem langen Dokument im Kontext übernommen werden kann. Bei gewöhnlichen Chat-Anfragen nennt der Artikel etwa 133 Tokens pro Sekunde; die Werte beruhen auf den berichteten Messungen, unabhängige Prüfungen werden nicht erwähnt.

Mittel

Der Bericht stellt ein Projekt vor, das laut Entwickler ein quantisiertes Qwen3.8-27B-Modell auf einer einzelnen RTX 3090 mit 24 GB VRAM betreibt. Für eine günstige Aufgabe mit einem rund 25.000 Tokens langen Dokument meldet er etwa 381 Tokens pro Sekunde. Das Ergebnis sei durch mehrere Schritte erreicht worden: optimiertes vLLM, spekulatives Dekodieren mit DFlash2, Suche nach passenden Fortsetzungen im Prompt-Kontext, ein erweiterter Verifikationsblock von 16 Tokens und Prefix-Caching. Der Bericht nennt außerdem eine Steigerung von etwa 82 Tokens pro Sekunde im Ausgangsaufbau auf rund 381 sowie eine Verbesserung der Zeit bis zum ersten Token bei wiederholten Dokumentfragen von 22,4 auf 0,56 Sekunden.

Der Spitzenwert gilt laut Artikel nicht für beliebige Gespräche: Für gewöhnliche Chat-Anfragen werden etwa 133 Tokens pro Sekunde angegeben, weil dort weniger Antworttext aus dem Kontext übernommen werden kann. Als mögliche Einsatzfelder nennt der Bericht RAG, Dokumentenfragen und Coding-Agenten. Die Modell- und Leistungswerte sind Entwicklerangaben; unabhängige Prüfungen werden nicht beschrieben. Der Server benötigt bei externer Erreichbarkeit einen API-Schlüssel, da er standardmäßig ohne Authentifizierung lauscht.

Ausführlich lesen

Der Bericht beschreibt ein Projekt, das nach Angaben des Autors ein quantisiertes Qwen3.8-27B-Modell auf einer einzelnen RTX 3090 mit 24 GB VRAM betreibt. Für eine besonders passende Aufgabe meldet der Entwickler eine Geschwindigkeit von rund 381 Tokens pro Sekunde. Der Bericht betont, dass dieser Spitzenwert kein allgemeines Maß für die Leistung bei beliebigen Eingaben ist: Bei gewöhnlichen Chat-Anfragen seien etwa 133 Tokens pro Sekunde erreicht worden.

Die Leistung werde schrittweise durch mehrere Maßnahmen gesteigert. Als Ausgangswert nennt der Bericht ungefähr 82 Tokens pro Sekunde; mit optimiertem MTP seien es rund 114, mit DFlash2 und zusätzlichem Lookup-Drafting etwa 138 und mit längerer Verifikation sowie Kontextsuche schließlich ungefähr 381. Laut Artikel entspricht das beim Spitzenwert etwa dem 4,6-Fachen des Ausgangswerts. Die Hardware bleibe dabei im Wesentlichen dieselbe: eine RTX 3090 mit 24 GB Speicher und ungefähr 250 Watt Leistungsaufnahme. Das Modell werde als W4A16 quantisiert beschrieben; der Download umfasse etwa 19,5 GB. Weitere Speichermaßnahmen beträfen unter anderem den lm_head, die Embeddings, das MTP-Entwurfsmodul und optional einen 4-/2-Bit-KV-Cache.

Als zentrale Technik erläutert der Bericht spekulatives Dekodieren: Ein schnelleres Verfahren schlägt mehrere mögliche Tokens vor, die das große Zielmodell anschließend gemeinsam überprüft. Zusätzlich suche das System in bereits vorhandenem Prompt-Kontext nach passenden Textfortsetzungen. Das soll besonders dann helfen, wenn die Antwort Inhalte aus einem langen Dokument wiedergibt. Der Entwickler habe dafür den Verifikationsblock auf 16 Tokens erweitert; der Artikel nennt eine Akzeptanz von 16 Tokens pro Prüfschritt. Der Spitzenbenchmark sei eine Wiederholungsaufgabe mit einem ungefähr 25.000 Tokens langen Dokument gewesen. In diesem Szenario sei die Geschwindigkeit von etwa 260 auf rund 382 Tokens pro Sekunde gestiegen. Für wiederholte Fragen zum selben großen Dokument nennt der Bericht außerdem eine Verkürzung der Zeit bis zum ersten Token von ungefähr 22,4 auf 0,56 Sekunden.

Daraus leitet der Artikel mögliche Einsatzfelder wie RAG, Dokumentenfragen, Coding-Agenten und andere dokumentenlastige Abläufe ab. Die Übertragbarkeit bleibt jedoch eingeschränkt: Bei freier formulierten Gesprächen steht weniger passender Antworttext im Kontext zur Verfügung, sodass der Lookup-Ansatz weniger bringt. Der Bericht erwähnt außerdem Unterstützung für Kontexte bis zu 262.000 Tokens mit KVarN, stellt dies aber als speziellen Anwendungsfall dar. Zur Einrichtung werden Docker, Python 3.12, etwa 40 GB freier Speicher und eine NVIDIA-GPU ab Ampere mit 24 GB genannt. Da der Server standardmäßig ohne API-Schlüssel auf 0.0.0.0 lausche, empfiehlt der Artikel, vor einem Zugriff von außerhalb einen Schlüssel einzurichten. Die Leistungs- und Benchmarkwerte sind Angaben des Berichts; unabhängige Prüfungen oder Vergleichsmessungen werden im bereitgestellten Text nicht beschrieben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Bewertung stützt sich auf den Berichtstext. Beide Zusammenfassungen sind inhaltlich getreu; die kurze Fassung lässt mehrere Angaben aus, die mittlere Fassung ist präziser, enthält aber die vage Formulierung 'günstige Aufgabe'. Bei der Einordnung gilt die Skala unabhängig von Lunas Stufen.

Im Bericht, aber nicht in der Zusammenfassung

  • Die stufenweise Steigerung über DFlash2 und Lookup-Drafting, die im Bericht als Entwicklungsweg beschrieben wird, fehlt in der kurzen Fassung.
  • Die Angabe zur Zeit bis zum ersten Token (von 22,4 auf 0,56 Sekunden bei wiederholten Dokumentfragen) fehlt in der kurzen Fassung.
  • Der Hinweis, dass der Server standardmäßig ohne Authentifizierung läuft und vor einer Freigabe einen API-Schlüssel braucht, fehlt in der kurzen Fassung.
  • Die Angabe 'günstige Aufgabe' in der mittleren Fassung ist unpräzise; der Bericht spricht von einer 25.000-Token-Dokumentwiedergabe als besonders geeignetem Workload.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 53 %einzelne zitierbare Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 39 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →