The Top 5 Local LLMs (GLM4.5 GPT-OSS, Qwen3 )
Zusammenfassung
Kurz
Der Beitrag empfiehlt sechs lokale LLMs für unterschiedliche Zwecke: von schnellen Alltagsantworten und Programmierung bis zu Recherche, tiefem Schlussfolgern und komplexen Werkzeugabläufen. Die Empfehlungen und Hardwareangaben sind Einschätzungen des Autors; vergleichende Benchmarks oder ein Prüfverfahren führt der Text nicht an.
Mittel
Der Beitrag vergleicht sechs lokale Sprachmodelle und empfiehlt sie für unterschiedliche Aufgaben. Er vertritt die These, lokale LLMs seien 2025 dank offener Gewichte, Quantisierung und geeigneter Inferenzsoftware praktisch nutzbar und könnten Abhängigkeit von Cloud-APIs verringern. Als ausgewogenen Allrounder beschreibt der Autor GLM-4.5-Air, das auf vier RTX 3090 laufen soll. GPT-OSS-120B ordnet er tiefem Schlussfolgern, Codearbeit und Werkzeugnutzung zu, weist aber auf den hohen Bedarf von mindestens acht A6000 hin. GPT-OSS-20B sei besonders schnell, habe jedoch weniger Fähigkeiten bei langen Kontexten.
Qwen3–30B-A3B empfiehlt der Text für Recherche und wissensintensive Fragen, während Qwen3-Coder-30B für Programmierung gedacht sei und quantisiert auf einer 16-GB-VRAM-GPU laufen solle. GLM-4.6 richtet sich laut Beitrag an leistungsstarke Workstations und komplexe automatisierte Abläufe. Anfängern rät der Autor zu GPT-OSS-20B oder Qwen3-Coder-30B. Die Rangfolge, Leistungsurteile und Hardwareangaben werden nicht durch Benchmarks oder ein beschriebenes Testverfahren belegt; sie sind als Einschätzungen des Beitrags zu lesen.
Ausführlich lesen
Der Bericht stellt sechs lokal ausführbare Sprachmodelle vor und ordnet sie nach vermuteten Stärken und Hardwarebedarf ein. Seine Grundthese lautet, dass lokale LLMs 2025 nicht mehr nur ein Statussymbol für Technikbegeisterte seien: Offene Gewichte, quantisierte Modelle und passende Inferenzsoftware machten sie laut Autor für Entwickler, Forschende und anspruchsvolle Nutzer praktisch. Als mögliche Vorteile nennt der Text mehr Kontrolle über die eigenen Werkzeuge und Unabhängigkeit von Cloud-APIs und deren Abonnementgrenzen. Der Beitrag ist eine vergleichende Empfehlung, keine dokumentierte Messreihe: Er nennt Einsatzgebiete und Hardwareangaben, beschreibt aber keine Benchmarks oder ein systematisches Prüfverfahren.
Als ausgewogene Alltagsoption empfiehlt der Autor GLM-4.5-Air. Es soll auf vier RTX 3090 laufen und dabei Programmierung, Automatisierung, agentische Abläufe und Schlussfolgern unterstützen. GPT-OSS-120B wird als leistungsstark bei tiefem Schlussfolgern, Code-Erklärung, Fehlersuche und Werkzeugnutzung dargestellt, verlangt laut Text aber mindestens acht A6000 oder eine vergleichbare Ausstattung und Geduld bei der Einrichtung. Für schnelle Antworten und geringe Latenz empfiehlt der Bericht GPT-OSS-20B; als Einschränkung nennt er dessen geringere Fähigkeiten bei langen Kontexten.
Qwen3–30B-A3B ordnet der Beitrag wissensintensiven Aufgaben wie Recherche, technischen oder historischen Fragen sowie Erklärtexten und Dokumentation zu. Der Autor charakterisiert es als langsamer als GPT-OSS-20B, aber besonders wissensstark. Qwen3-Coder-30B soll sich auf Programmieraufgaben konzentrieren und quantisiert auf einer Grafikkarte mit 16 GB VRAM laufen; genannt werden Codegenerierung, Überarbeitung und Reviews. Für sehr leistungsfähige Workstations führt der Text zusätzlich GLM-4.6 an. Dieses Modell sei auf schwere Werkzeugnutzung, automatisierte Abläufe, fortgeschrittene Fehlersuche und Agentennetzwerke ausgerichtet und setze laut Beitrag vier RTX 6000 Pro Max-Qs voraus.
Eine Tabelle fasst die Zuordnungen zusammen: GLM-4.5-Air als Allrounder, GPT-OSS-120B für Schlussfolgern und agentische Programmierung, GPT-OSS-20B für allgemeine schnelle Nutzung, Qwen3-30B-A3B für Recherche und Fragen, Qwen3-Coder-30B fürs Programmieren und GLM-4.6 für komplexe Abläufe und Werkzeugketten. Einsteigern rät der Autor, mit GPT-OSS-20B oder Qwen3-Coder-30B zu beginnen und später leistungsstärkere Modelle auszuprobieren.
Die Rangfolge, Qualitätsurteile und Hardwareanforderungen sind Aussagen des Beitrags; Belege durch Vergleichstests, konkrete Konfigurationen oder unabhängige Messwerte enthält der vorliegende Text nicht. Auch die Formulierungen zu Genauigkeit, Leistungsfähigkeit und Eignung sind daher als Einschätzungen des Autors zu verstehen, nicht als im Bericht nachgewiesene Ergebnisse.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassung liegt in zwei Fassungen vor (kurz und mittel). Bewertet wurde die mittlere Fassung. Die kurze Fassung gibt den Bericht ebenfalls treu wieder. Die Stufen und Anteilswerte aus Lunas Einordnung wurden nicht übernommen, sondern unabhängig bewertet. Teilfragen waren nicht angegeben.
Im Bericht, aber nicht in der Zusammenfassung
- Qwen3-30B-A3B ist laut Bericht langsamer als GPT-OSS-20B
- GPT-OSS-120B wirkt beim kreativen Schreiben eher trocken
- GPT-Hardwareangabe für GLM-4.6 (4x RTX 6000 Pro Max-Qs) wird nicht genannt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 76 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 60 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 55 %Hintergrund, keine Belege
- JEV 48 %gleiches Oberthema, hilft nicht
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 81 %gleiches Oberthema, hilft nicht
- d3-ultra 63 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 74 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 80 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 48 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 69 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 37 %nur am Rande erwähnt
- JEV 56 %nur am Rande erwähnt
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 49 %gleiches Oberthema, hilft nicht
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 62 %gleiches Oberthema, hilft nicht
- JEV 49 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 64 %gleiches Oberthema, hilft nicht
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 59 %gleiches Oberthema, hilft nicht
- JEV 62 %gleiches Oberthema, hilft nicht
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 61 %Hintergrund, keine Belege
- JEV 56 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 63 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 33 %einzelne zitierbare Belege
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv