I got 154 tok/s from a Single RTX 4090 running a 27B Model. Here’s the Exact Config.
Zusammenfassung
Kurz
Der Autor berichtet, mit spekulativer Dekodierung ein lokales 27B-Modell auf einer RTX 4090 im Mittel auf etwa 127 Token/s und in einem Lauf auf 154 Token/s beschleunigt zu haben. Die Messwerte schwanken mit Akzeptanzrate und Kontext; sie sind Autorenangaben, und der Bericht beschreibt keine unabhängige Prüfung.
Mittel
Code Coup berichtet, ein Qwen3.6-Modell mit 27 Milliarden Parametern auf einer RTX 4090 durch spekulative Dekodierung deutlich beschleunigt zu haben. Dabei sagt ein kleineres Qwen3-1.7B-Modell mehrere Tokens voraus, die das große Modell gemeinsam prüft. Die Methode soll laut Autor die Ausgabequalität des Zielmodells erhalten, während sie Speicherbewegungen pro ausgegebenem Token verringert.
Mit ik_llama.cpp, beiden quantisierten Modellen auf der GPU, Flash Attention und 8-Bit-KV-Cache nennt der Bericht drei Langläufe mit 99,86 bis 154,14 Token/s; der Mittelwert liege bei etwa 127. Zum Vergleich werden ungefähr 26 Token/s mit Ollama und 47 mit LM Studio genannt. Die Akzeptanz der Entwürfe schwanke von 49,6 bis 85,2 Prozent und hänge laut Autor vom Inhalt ab: strukturierte Texte seien leichter vorherzusagen.
Bei 32K Kontext bleibe die Geschwindigkeit laut Bericht nahe am Ausgangswert, bei 64K und 96K sinke sie. Für lange strukturierte Generierung werden überraschend hohe Werte bei 128K gemeldet. Die Zahlen sind Autorenangaben; eine unabhängige Prüfung oder ausführliche wiederholbare Messmethodik bietet der Text nicht. Windows wurde laut Bericht nicht getestet.
Ausführlich lesen
Der Bericht von Code Coup beschreibt einen Versuch, mit spekulativer Dekodierung ein Qwen3.6-Modell mit 27 Milliarden Parametern auf einer einzelnen RTX 4090 lokal schneller auszuführen. Der Autor berichtet als Spitzenwert 154,14 Token pro Sekunde; drei längere Messläufe hätten im Mittel etwa 127 Token pro Sekunde erreicht. Als Vergleich nennt er rund 26 Token pro Sekunde mit Ollama ohne spekulative Dekodierung und etwa 47 mit einer LM-Studio-Grundkonfiguration. Diese Werte werden im Bericht behauptet und nicht durch eine unabhängige Prüfung belegt.
Als Engpass beim gewöhnlichen Generieren beschreibt der Autor den Speicherbandbreitenbedarf: Das große Modell müsse für jedes neue Token erneut durchlaufen werden. Bei der spekulativen Dekodierung sagt ein kleineres Modell, hier Qwen3-1.7B, mehrere Tokens voraus. Das größere Qwen3.6-27B prüft die Vorschläge gemeinsam und korrigiert ab der ersten falschen Vorhersage. Laut Bericht bleibt dabei die Wahrscheinlichkeitsverteilung des Zielmodells erhalten, sodass die Ausgabequalität der alleinigen Verwendung des großen Modells entspreche. Hohe Akzeptanz der Vorschläge ermögliche mehrere ausgegebene Tokens je teurem Durchlauf.
Für den Versuch nennt der Text eine RTX 4090 mit 24 GB VRAM, zwei quantisierte GGUF-Modelle und ik_llama.cpp. Die Konfiguration lade beide Modelle auf die GPU, aktiviere Flash Attention und quantisiere den KV-Cache auf 8 Bit. Als zentrale Spekulationswerte werden maximal zwölf und mindestens drei Entwurfstokens sowie eine Konfidenzschwelle von 0,6 angegeben. Der Autor erklärt, Ollama stelle die nötigen Steuerungen nicht bereit; ik_llama.cpp mache sie zugänglich.
Die drei berichteten Langläufe unterscheiden sich deutlich: 154,14 Token/s bei 85,2 Prozent Akzeptanz, 125,80 bei 64,8 Prozent und 99,86 bei 49,6 Prozent. Der Text führt die Schwankung auf den Inhalt zurück: strukturierte, vorhersehbare Ausgaben begünstigten die Entwurfsmodell-Vorhersagen, kreative oder variable Texte senkten die Akzeptanz. Bei größeren Kontexten meldet der Autor 150,3 Token/s bei 32K, aber Rückgänge auf 90 bei 64K und 74,1 bei 96K. Für 128K behauptet er bei einer langen, strukturierten Generierung einen Spitzenwert von 158,98 Token/s; bei 160K seien es 149,9 und bei 192K 126,7 Token/s. Er erklärt den überraschenden 128K-Wert mit der besseren Vorhersagbarkeit langer strukturierter Ausgaben. Die Tabelle weist für diese hohen Kontextwerte teils nur qualitative Akzeptanzangaben aus.
Als Grenzen nennt der Bericht den Bedarf an einer 24-GB-Karte für die gezeigte 27B-Konfiguration, rund 32 GB System-RAM als Empfehlung und Unterschiede je nach Inhalt. Windows sei ungetestet; Angaben zu wiederholbarer Testmethodik, Unsicherheiten oder unabhängigen Vergleichsmessungen enthält der Text nicht. Die Resultate sind daher als Konfiguration und Messwerte des Autors zu verstehen, nicht als allgemeine Leistungsgarantie.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Einordnung zu den Sammelfragen ist grob, weil der Bericht ein technischer Praxisbeitrag zur lokalen Inferenz ist und keinen Governance- oder Normbezug hat. Teilfragen gab es keine.
Im Bericht, aber nicht in der Zusammenfassung
- Ollama und LM Studio legen die Steuerflags für spekulative Dekodierung nicht offen, ik_llama.cpp schon; das ist laut Bericht der eigentliche Grund für den Unterschied
- Der Ausgangsbefund, dass ein einziges Flag (-md) den Unterschied zwischen 26 und 154 Token/s macht
- Die Kontextmessungen mit 192K Kontext bei 127 Token/s und 559 MB Reserve sowie die Hinweise zu 3090 und 4080
- Der Hinweis, dass Windows nicht getestet wurde, fehlt in der mittleren Zusammenfassung nicht, wohl aber die Aussage, dass die Ergebnisse vom Autor stammen und nicht unabhängig geprüft sind (nur in der kurzen Fassung)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 74 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 36 %umfangreiche Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 27 %nur am Rande erwähnt
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 50 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %einzelne zitierbare Belege
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv