Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com3. August 2026 · Q011021

Kimi K3 Really Does Run on a 4GB GPU. A 500-Token Answer Takes 42 Hours.

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht würdigt, dass sich Kimi K3 mit sehr wenig belegtem VRAM betreiben lässt, argumentiert aber, die Laufzeit von etwa fünf Minuten je Token mache das Verfahren für gewöhnliche Inferenz kaum praktikabel. Die Kritik stützt sich auf eigene, nicht profilerbestätigte Rechnungen zu Speicherzugriffen, Routing und Kosten; sie legt nahe, dass lange Prompts den Sparsamkeitsvorteil verringern und der getestete Rechner trotz der Überschrift kein typischer Laptop war.

Mittel

Der Autor räumt ein, dass Kimi K3 tatsächlich mit nur 3,72 GB belegtem VRAM Tokens erzeugen kann. Möglich werde dies durch einen Ansatz, der einzelne Experten des 2,8-Billionen-Parameter-Modells von der Festplatte lädt. Er hält das für eine beachtliche technische Leistung, aber nicht für einen Beleg alltagstauglicher lokaler Inferenz.

Aus einer eigenen Rechnung leitet er etwa 58,5 GB Lesezugriffe pro Token ab. Bei fünf Minuten je Token seien das rund 195 MB/s. Daraus vermutet er, dass die vielen seriellen Expertenzugriffe und Schichtabhängigkeiten stärker bremsen als die reine Laufwerksbandbreite. Er betont, dass er das System nicht profiliert hat und etwa Dekodierungskosten nicht gemessen sind. Seine weitere Rechnung nimmt annähernd gleichmäßiges Routing an: Bei längeren Prompts würden zunehmend fast alle Experten angefordert, wodurch der Sparsamkeitsvorteil bei Dokumentenverarbeitung und größeren Batches schrumpfe.

Ein Beispiel mit 20 Ausgabetokens könne laut Autor rund 100 Minuten dauern und wegen des stets erzeugten Reasonings ohne lesbare Antwort enden. Für 2.500 Tokens schätzt er etwa 208 Stunden. Seine Kostenrechnung setzt rund 7,85 Dollar Strom den etwa 3,75 Cent einer API-Nutzung gegenüber; Speicher- und Hardwarekosten fehlen dabei. Als Nutzen sieht er vor allem Forschung und Modellinspektion. Die Laptop-Formulierung sei irreführend: Der Test lief auf einer RTX 6000 Ada mit 48 GB VRAM und benötigte 1,6 TB Speicher.

Ausführlich lesen

Der Bericht untersucht, was es praktisch bedeutet, Kimi K3 trotz nur 3,72 GB belegtem Grafikspeicher lokal auszuführen. Der Autor korrigiert seine frühere Einschätzung: Gavin Li habe gezeigt, dass sich der vollständige, nicht destillierte Checkpoint mit 2,8 Billionen Parametern tatsächlich auf einem Rechner mit wenig VRAM betreiben lässt. Dafür werde AirLLM so angepasst, dass einzelne Experten statt ganzer Modellschichten bei Bedarf von der Festplatte geladen werden. Der Autor würdigt diesen technischen Ansatz, bezweifelt aber, dass die Demonstration alltagstaugliche Inferenz ermögliche.

Seine eigene Überschlagsrechnung kommt auf etwa 58,5 GB gelesene Gewichte je erzeugtem Token. Bei der berichteten Dauer von rund fünf Minuten pro Token entspräche das ungefähr 195 MB/s. Daraus folgert er, dass die Festplatte vermutlich nicht der alleinige oder entscheidende Engpass sei: Die vielen einzelnen Expertenzugriffe und die nacheinander nötigen Rechen- und Ladevorgänge könnten die Laufzeit stärker bestimmen. Weil die Routerentscheidung einer Schicht erst nach deren Berechnung vorliegt, lasse sich das Laden der benötigten Experten späterer Schichten laut Autor nicht beliebig vorziehen. Er weist zugleich darauf hin, dass er keinen Profiler eingesetzt hat und unter anderem die Kosten der MXFP4-Dekodierung auf der verwendeten RTX 6000 Ada nicht kennt. Seine Erklärung des Engpasses bleibt daher eine begründete Analyse, keine Messung des Systems.

Ein weiterer Einwand betrifft die behauptete Einsparung durch Sparsität. Unter der ausdrücklich vereinfachenden Annahme einer annähernd gleichmäßigen Verteilung der Expertenzugriffe schätzt der Autor, dass längere Prompts nach und nach fast alle Experten anfordern: Bei 38 Eingabetokens seien etwa die Hälfte, bei 256 rund 99 Prozent berührt. Daraus leitet er ab, dass gerade lange Dokumente und größere Batches, die als mögliche Offline-Anwendungen naheliegen, den Speicherzugriffsvorteil weitgehend aufheben könnten. Die Rechnung hängt jedoch von der Routingverteilung ab; bei stark abweichender Verteilung würden sich die Werte verändern.

Auch das Beispiel im ursprünglichen Beitrag hält der Autor für irreführend: Bei 20 Ausgabetokens und fünf Minuten je Token dauere der Lauf etwa 100 Minuten. Da Kimi K3 stets Reasoning-Tokens erzeuge, könnten diese das knappe Budget aufbrauchen, bevor eine lesbare Antwort erscheint. Für 2.500 Tokens veranschlagt der Bericht etwa 208 Stunden. Ein Vergleich mit API-Kosten und geschätztem Stromverbrauch ergibt laut Autor rund 7,85 US-Dollar Strom gegenüber etwa 3,75 Cent für dieselbe Tokenzahl über die API; Speicher- und Anschaffungskosten seien dabei noch nicht eingerechnet. Diese Werte beruhen auf den im Text genannten Annahmen, darunter 200 Watt Dauerverbrauch und ein US-Strompreis.

Das Fazit unterscheidet zwischen Zugang und praktischem Einsatz: Das Verfahren ermögliche Forschung und Inspektion eines sonst schwer zugänglichen Modells, etwa zur Untersuchung einzelner Experten oder des Routings. Die Überschrift suggeriere jedoch Laptop-Tauglichkeit, obwohl der beschriebene Test eine RTX 6000 Ada mit 48 GB VRAM sowie 1,6 TB Speicher nutzte. Ob Optimierungen die Laufzeit deutlich senken könnten, lässt der Autor offen und fordert ein echtes Profiling.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassung mittel ist inhaltlich weitgehend treu, lässt aber die Kritik am Widerspruch im AI-Advances-Beitrag und den Artificial-Analysis-Kostenvergleich aus. Die Übersetzung Dekodierungskosten für dequantization cost ist ungenau und müsste Dequantisierung heißen. Die Zusammenfassung kurz ist treu, aber allgemeiner und nennt ebenfalls nicht den Widerspruch im Beitrag. Die Einordnung stützt sich nur auf den Bericht, nicht auf Lunas Stufen.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Artificial-Analysis-Befund, K3 koste im Schnitt etwa 94 Cent pro Aufgabe und damit rund halb so viel wie Claude Opus 4.8
  • Die Kritik, dass der AI-Advances-Beitrag widersprüchlich ist, weil er zugleich 1,56 TB pro Token und ein Schicht-Argument mit etwa 1 GB pro Schicht nennt
  • Die Aussage, dass der Engpass nicht die Festplatte ist, sondern die serielle Abfolge von Laden, Rechnen und Verwerfen, und dass der Autor deshalb von einem Gen5-Laufwerk abrät
  • Das Argument, das Kapital sei vom Grafikspeicher auf die Festplatte gewandert, sodass die Laptop-Formulierung auch wegen des Speicherbedarfs in die Irre führe

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 21 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 32 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 41 %beantwortet teilweise oder widerspricht
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 49 %einzelne zitierbare Belege
    • JEV 26 %umfangreiche Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 45 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 72 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %einzelne zitierbare Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →