Kimi K3 Really Does Run on a 4GB GPU. A 500-Token Answer Takes 42 Hours.
Zusammenfassung
Kurz
Der Bericht würdigt, dass sich Kimi K3 mit sehr wenig belegtem VRAM betreiben lässt, argumentiert aber, die Laufzeit von etwa fünf Minuten je Token mache das Verfahren für gewöhnliche Inferenz kaum praktikabel. Die Kritik stützt sich auf eigene, nicht profilerbestätigte Rechnungen zu Speicherzugriffen, Routing und Kosten; sie legt nahe, dass lange Prompts den Sparsamkeitsvorteil verringern und der getestete Rechner trotz der Überschrift kein typischer Laptop war.
Mittel
Der Autor räumt ein, dass Kimi K3 tatsächlich mit nur 3,72 GB belegtem VRAM Tokens erzeugen kann. Möglich werde dies durch einen Ansatz, der einzelne Experten des 2,8-Billionen-Parameter-Modells von der Festplatte lädt. Er hält das für eine beachtliche technische Leistung, aber nicht für einen Beleg alltagstauglicher lokaler Inferenz.
Aus einer eigenen Rechnung leitet er etwa 58,5 GB Lesezugriffe pro Token ab. Bei fünf Minuten je Token seien das rund 195 MB/s. Daraus vermutet er, dass die vielen seriellen Expertenzugriffe und Schichtabhängigkeiten stärker bremsen als die reine Laufwerksbandbreite. Er betont, dass er das System nicht profiliert hat und etwa Dekodierungskosten nicht gemessen sind. Seine weitere Rechnung nimmt annähernd gleichmäßiges Routing an: Bei längeren Prompts würden zunehmend fast alle Experten angefordert, wodurch der Sparsamkeitsvorteil bei Dokumentenverarbeitung und größeren Batches schrumpfe.
Ein Beispiel mit 20 Ausgabetokens könne laut Autor rund 100 Minuten dauern und wegen des stets erzeugten Reasonings ohne lesbare Antwort enden. Für 2.500 Tokens schätzt er etwa 208 Stunden. Seine Kostenrechnung setzt rund 7,85 Dollar Strom den etwa 3,75 Cent einer API-Nutzung gegenüber; Speicher- und Hardwarekosten fehlen dabei. Als Nutzen sieht er vor allem Forschung und Modellinspektion. Die Laptop-Formulierung sei irreführend: Der Test lief auf einer RTX 6000 Ada mit 48 GB VRAM und benötigte 1,6 TB Speicher.
Ausführlich lesen
Der Bericht untersucht, was es praktisch bedeutet, Kimi K3 trotz nur 3,72 GB belegtem Grafikspeicher lokal auszuführen. Der Autor korrigiert seine frühere Einschätzung: Gavin Li habe gezeigt, dass sich der vollständige, nicht destillierte Checkpoint mit 2,8 Billionen Parametern tatsächlich auf einem Rechner mit wenig VRAM betreiben lässt. Dafür werde AirLLM so angepasst, dass einzelne Experten statt ganzer Modellschichten bei Bedarf von der Festplatte geladen werden. Der Autor würdigt diesen technischen Ansatz, bezweifelt aber, dass die Demonstration alltagstaugliche Inferenz ermögliche.
Seine eigene Überschlagsrechnung kommt auf etwa 58,5 GB gelesene Gewichte je erzeugtem Token. Bei der berichteten Dauer von rund fünf Minuten pro Token entspräche das ungefähr 195 MB/s. Daraus folgert er, dass die Festplatte vermutlich nicht der alleinige oder entscheidende Engpass sei: Die vielen einzelnen Expertenzugriffe und die nacheinander nötigen Rechen- und Ladevorgänge könnten die Laufzeit stärker bestimmen. Weil die Routerentscheidung einer Schicht erst nach deren Berechnung vorliegt, lasse sich das Laden der benötigten Experten späterer Schichten laut Autor nicht beliebig vorziehen. Er weist zugleich darauf hin, dass er keinen Profiler eingesetzt hat und unter anderem die Kosten der MXFP4-Dekodierung auf der verwendeten RTX 6000 Ada nicht kennt. Seine Erklärung des Engpasses bleibt daher eine begründete Analyse, keine Messung des Systems.
Ein weiterer Einwand betrifft die behauptete Einsparung durch Sparsität. Unter der ausdrücklich vereinfachenden Annahme einer annähernd gleichmäßigen Verteilung der Expertenzugriffe schätzt der Autor, dass längere Prompts nach und nach fast alle Experten anfordern: Bei 38 Eingabetokens seien etwa die Hälfte, bei 256 rund 99 Prozent berührt. Daraus leitet er ab, dass gerade lange Dokumente und größere Batches, die als mögliche Offline-Anwendungen naheliegen, den Speicherzugriffsvorteil weitgehend aufheben könnten. Die Rechnung hängt jedoch von der Routingverteilung ab; bei stark abweichender Verteilung würden sich die Werte verändern.
Auch das Beispiel im ursprünglichen Beitrag hält der Autor für irreführend: Bei 20 Ausgabetokens und fünf Minuten je Token dauere der Lauf etwa 100 Minuten. Da Kimi K3 stets Reasoning-Tokens erzeuge, könnten diese das knappe Budget aufbrauchen, bevor eine lesbare Antwort erscheint. Für 2.500 Tokens veranschlagt der Bericht etwa 208 Stunden. Ein Vergleich mit API-Kosten und geschätztem Stromverbrauch ergibt laut Autor rund 7,85 US-Dollar Strom gegenüber etwa 3,75 Cent für dieselbe Tokenzahl über die API; Speicher- und Anschaffungskosten seien dabei noch nicht eingerechnet. Diese Werte beruhen auf den im Text genannten Annahmen, darunter 200 Watt Dauerverbrauch und ein US-Strompreis.
Das Fazit unterscheidet zwischen Zugang und praktischem Einsatz: Das Verfahren ermögliche Forschung und Inspektion eines sonst schwer zugänglichen Modells, etwa zur Untersuchung einzelner Experten oder des Routings. Die Überschrift suggeriere jedoch Laptop-Tauglichkeit, obwohl der beschriebene Test eine RTX 6000 Ada mit 48 GB VRAM sowie 1,6 TB Speicher nutzte. Ob Optimierungen die Laufzeit deutlich senken könnten, lässt der Autor offen und fordert ein echtes Profiling.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassung mittel ist inhaltlich weitgehend treu, lässt aber die Kritik am Widerspruch im AI-Advances-Beitrag und den Artificial-Analysis-Kostenvergleich aus. Die Übersetzung Dekodierungskosten für dequantization cost ist ungenau und müsste Dequantisierung heißen. Die Zusammenfassung kurz ist treu, aber allgemeiner und nennt ebenfalls nicht den Widerspruch im Beitrag. Die Einordnung stützt sich nur auf den Bericht, nicht auf Lunas Stufen.
Im Bericht, aber nicht in der Zusammenfassung
- Der Artificial-Analysis-Befund, K3 koste im Schnitt etwa 94 Cent pro Aufgabe und damit rund halb so viel wie Claude Opus 4.8
- Die Kritik, dass der AI-Advances-Beitrag widersprüchlich ist, weil er zugleich 1,56 TB pro Token und ein Schicht-Argument mit etwa 1 GB pro Schicht nennt
- Die Aussage, dass der Engpass nicht die Festplatte ist, sondern die serielle Abfolge von Laden, Rechnen und Verwerfen, und dass der Autor deshalb von einem Gen5-Laufwerk abrät
- Das Argument, das Kapital sei vom Grafikspeicher auf die Festplatte gewandert, sodass die Laptop-Formulierung auch wegen des Speicherbedarfs in die Irre führe
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 21 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 34 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 75 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 75 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 30 %gleiches Oberthema, hilft nicht
- JEV 31 %gleiches Oberthema, hilft nicht
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 41 %beantwortet teilweise oder widerspricht
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 46 %gleiches Oberthema, hilft nicht
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 26 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 49 %einzelne zitierbare Belege
- JEV 26 %umfangreiche Belege
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra 45 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung einzelne zitierbare Belege
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 72 %Hintergrund, keine Belege
- JEV 39 %einzelne zitierbare Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E4-T01 Was hieße die Formel von KI als „gemeinsamem Gut der ganzen Menschheit“ praktisch (Zugang, Teilen des Nutzens, gestaffelte Preise, Technologietransfer), so dass jeder Staat sie tatsächlich unterschreiben und prüfen könnte?
- SF-E4-T02 Welche konkreten Mechanismen (bezahlbarer Zugang zu Modellen, Rechenleistung im öffentlichen Interesse, Technologietransfer) sollen Sicherheitsregeln begleiten, damit sie Monopole nicht vertiefen und Länder mit wenig Mitteln nicht abhängig zurücklassen?
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 23 %einzelne zitierbare Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv