I Went Looking for the Best Local LLM for Coding in 2026.
Zusammenfassung
Kurz
Der Autor hält Qwen 3.6–27B in Q4_K_M nach Tests auf seinem MacBook für das stärkste lokale Allround-Modell für Code, weist aber auf Fehler bei Tests und die nötige Kontrolle von Änderungen hin. Für schwieriges Debugging nutzt er weiterhin Cloud-Modelle; seine Ergebnisse stammen aus drei eigenen Aufgaben auf einem Rechner.
Mittel
Der Autor testet vier lokale Programmiermodelle auf einem MacBook Pro mit 36 GB gemeinsamem Speicher. Sein Favorit ist Qwen 3.6–27B in Q4_K_M: Bei drei Aufgaben erledigte es einen mehrdateiigen Laravel-Umbau nach einem Korrekturhinweis sauber und fand einen SQL-Fehler samt Erklärung. Bei Unit-Tests blieb es zunächst jedoch bei Happy-Path-Fällen und übersah einen relevanten Zeitzonenfall.
Das schnellere Qwen-MoE-Modell sei weniger sorgfältig gewesen und habe bei einer Änderung einen Typvertrag verletzt, den es nach Vorlage der Fehlermeldung rasch reparierte. Devstral habe sich besonders in einem Edit-Test-Korrektur-Agentenablauf bewährt; Codestral bot brauchbare Autovervollständigung, litt laut Autor aber unter Latenz und schwachem dateiübergreifendem Kontext. Für größere Dateien musste er Ollamas Kontextfenster von 2.048 auf 32.768 Token erhöhen. Zudem könne der Speicherbedarf mit Kontext und anderen Apps zu deutlicher Verlangsamung führen.
Der Autor nutzt das 27B-Modell für viele Aufgaben mit Kundencode und Routinearbeit, greift bei schwierigem Debugging aber weiter auf Cloud-Modelle zurück. Seine API-Ausgaben seien um mehr als die Hälfte gesunken. Die Einschätzung stützt sich auf einen einzelnen Rechner und drei eigene Aufgaben; bei 16 GB RAM rät er ab, bei 24 GB erwartet er Einschränkungen und ab 32 GB eine praktischere Nutzung.
Ausführlich lesen
Der Autor vergleicht vier lokal ausführbare Modelle für Programmieraufgaben und kommt zu dem Schluss, dass Qwen 3.6–27B in der getesteten Konfiguration für viele Entwickler der beste Allrounder sei. Er berichtet, früher DeepSeek R1 8B nach etwa zwei Wochen wieder aufgegeben zu haben: Das Modell habe unter anderem Code verändert, obwohl es ihn erklären sollte, nicht existierende Laravel-Hilfsfunktionen erfunden und bei längeren Eingaben stark nachgelassen. Neue Modellveröffentlichungen im April hätten ihn zu einem erneuten Versuch bewegt.
Als frühere Hürde beschreibt der Autor den Zielkonflikt zwischen Größe und Geschwindigkeit: Kleine, lokal nutzbare Modelle seien für Code oft unzuverlässig gewesen, während große Modelle auf Mac-Hardware wegen der begrenzten Speicherbandbreite langsam liefen. Er führt die neuen Möglichkeiten auf zwei Qwen-Modelle zurück: Das Qwen 3.6–35B-A3B ist ein MoE-Modell mit 35 Milliarden Gesamtparametern, von denen laut Bericht pro Token 3 Milliarden aktiv sind. Das dichte Qwen 3.6–27B sei auf Code ausgerichtet und erreiche laut angeführtem SWE-bench-Verified-Wert 77,2. Zusätzlich nennt der Autor eine Messung von Simon Willison mit 25,57 Token pro Sekunde auf einem Mac. Das sind berichtete Benchmark- und Einzelmesswerte, keine Ergebnisse aus einer unabhängigen Vergleichsstudie im Text.
Der Praxistest lief auf einem MacBook Pro mit 36 GB gemeinsamem Speicher. Der Autor probierte Qwen 3.6–27B in Q4_K_M, das Qwen-MoE-Modell in Q4, Mistral Devstral Small 24B in einem Agentenablauf sowie Codestral 22B für die Autovervollständigung in VS Code. Er weist auf zwei praktische Grenzen hin: Ollamas Standard-Kontextfenster von 2.048 Token sei für größere Dateien zu klein; er erhöhte es auf 32.768. Außerdem könne ein Modell zusammen mit Kontext-Cache und weiteren Apps den verfügbaren Speicher überlasten und das System durch Auslagern verlangsamen. Für ein Modellfile empfiehlt er aus eigener Erfahrung, bei höchstens etwa zwei Dritteln des Gesamtspeichers zu bleiben.
Alle Modelle erhielten dieselben drei Aufgaben: einen Laravel-Dienst über vier Dateien hinweg umzubauen, einen Fehler in einer SQL-Abfrage zu finden und Unit-Tests zu schreiben. Qwen 3.6–27B erledigte den Umbau laut Autor nach einem Hinweis auf einen übersehenen Aufruf korrekt und fand den SQL-Fehler samt Erklärung sofort. Bei Tests lieferte es zunächst vor allem Happy-Path-Fälle und übersah einen tatsächlich relevanten Zeitzonenfall. Das MoE-Modell arbeitete schneller, war bei der mehrdateiigen Änderung aber weniger sorgfältig und brach einen Typvertrag; auf die Fehlermeldung hin korrigierte es den Fehler rasch. Devstral überzeugte im Edit-Test-Korrektur-Ablauf, während seine Leistung als gewöhnlicher Chatbot laut Autor mittelmäßig war. Codestral bot brauchbare mehrzeilige Ergänzungen, hatte aber wenig verlässlichen Überblick über andere Dateien und störende Latenz im Akkubetrieb.
Der Autor bezeichnet Qwen 3.6–27B bei Q4_K_M als seinen Favoriten, sagt jedoch ausdrücklich, dass es Cloud-Modelle bei schwierigem Debugging über falsche Annahmen in einer Codebasis nicht ersetzt. Er nutzt es für viele Aufgaben mit Kundencode und Routinegenerierung und greift bei größeren Problemen weiterhin auf eine kostenpflichtige API zurück; seine API-Ausgaben seien im Vormonat um mehr als die Hälfte gesunken, nicht auf null. Seine RAM-Einschätzung: 16 GB seien ungeeignet, bei 24 GB laufe das Modell nur mit Einschränkungen, ab 32 GB werde es nach seiner Erfahrung praxistauglicher. Die Aussagen beruhen auf einem einzelnen MacBook, einem begrenzten Modellvergleich und drei eigenen Arbeitsaufgaben; eine systematische oder breit angelegte Prüfung beschreibt der Bericht nicht.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde die mittlere Zusammenfassung. Die kurze Fassung ist ebenfalls treu, lässt aber Benchmark, Geschwindigkeit und Speicherregel aus.
Im Bericht, aber nicht in der Zusammenfassung
- Der SWE-bench-Verified-Wert von 77,2 für Qwen 3.6-27B, auf den sich die Einschätzung zum stärksten Modell stützt
- Die Geschwindigkeitsangaben: 35 bis 55 Tokens pro Sekunde beim MoE-Modell und rund 25 Tokens pro Sekunde beim 27B-Modell laut Simon Willison
- Die Faustregel, dass die Modelldatei unter etwa zwei Dritteln des RAM bleiben sollte
- Die Erklärung, dass die Speicherbandbreite die Generierungsgeschwindigkeit begrenzt und Macs große Modelle zwar laden, aber nicht schnell machen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %nur am Rande erwähnt
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 70 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 77 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 49 %einzelne zitierbare Belege
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 41 %einzelne zitierbare Belege
- JEV 37 %beantwortet teilweise oder widerspricht
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 45 %nur am Rande erwähnt
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 61 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 36 %einzelne zitierbare Belege
- JEV 46 %nur am Rande erwähnt
- amos 30 %nur am Rande erwähnt
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 30 %gleiches Oberthema, hilft nicht
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 58 %einzelne zitierbare Belege
- JEV 51 %einzelne zitierbare Belege
- amos 25 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv