Top Open-Weight AI Models for Your Hardware
Zusammenfassung
Kurz
Der Bericht empfiehlt offene KI-Modelle passend zu Speicher und Aufgabe: von kleinen Modellen für einfache lokale Aufgaben bis zu großen Modellen für Programmierung und multimodale Anwendungen. Die Speicherangaben sind grobe Richtwerte; Quantisierung, Geräteaufbau und Arbeitslast beeinflussen, was tatsächlich läuft, und ein genanntes Modell war zum Schreibzeitpunkt noch als Vorschau markiert.
Mittel
Der Bericht ordnet offene KI-Modelle nach dem verfügbaren Arbeitsspeicher und empfiehlt, ein Modell passend zur Aufgabe auszuwählen, statt stets das größte zu nutzen. Für etwa 8 GB nennt der Autor LFM2.5–2.6B für einfache Aufgaben wie Klassifikation, Datenextraktion und leichte Werkzeugaufrufe. Bei rund 16 GB führt er Ornith-1.5–9B für Agenten und Programmierwerkzeuge sowie Gemma 4 12B für Chat und multimodale Anwendungen an. Diese Einteilung sei eine grobe Orientierung, da Modellversionen und konkrete Anforderungen variieren.
Für 24 bis 96 GB empfiehlt der Beitrag Qwen3.8–27B für anspruchsvollere lokale Programmierarbeit; Quantisierung senke den Speicherbedarf, gehe aber mit Präzisionsverlust einher. Qwen3.8-Flash-Next wird für 96 bis 196 GB genannt, war laut Bericht zum Schreibzeitpunkt jedoch noch als Vorschau oder bevorstehend markiert. Bei 196 bis 384 GB nennt der Autor GLM-5.3-Flash und verweist auf laut Modellkarte 320 Milliarden Gesamtparameter, von denen 18 Milliarden aktiv seien. Ab 384 GB komme GLM-5.3 infrage, wenn Qualität Vorrang vor Geschwindigkeit habe.
Die Speicherbereiche sind keine festen Grenzen: Quantisierung, mehrere GPUs, Systemspeicher und CPU-Inferenz können die Möglichkeiten verschieben. Der Beitrag bietet Empfehlungen, aber keine garantierten Leistungswerte für konkrete Geräte oder Arbeitslasten.
Ausführlich lesen
Der Bericht schlägt vor, offene KI-Modelle danach auszuwählen, welche Hardware bereits vorhanden ist. Statt ein möglichst großes Modell auf jedes Gerät zu zwingen, solle man den Speicherbedarf und den jeweiligen Zweck berücksichtigen. Die genannten Speicherbereiche sind laut Autor Orientierungspunkte, keine festen Mindestanforderungen.
Für etwa 8 GB RAM oder VRAM empfiehlt der Beitrag LFM2.5–2.6B von Liquid AI. Der Autor beschreibt es als kleines, für effizienten Einsatz auf Geräten konzipiertes Modell. Liquid AI gebe ein Kontextfenster von 131.000 Tokens und eine Nachtrainierung für agentische Aufgaben an. Geeignete Aufgaben seien etwa Klassifikation, strukturierte Datenextraktion, einfache Werkzeugaufrufe, kleine Programmieraufgaben und das Weiterleiten von Anfragen. Das Modell könne als einfacher Helfer innerhalb eines größeren Systems dienen; es solle keine Spitzenmodelle ersetzen. Der Beitrag verweist zudem auf GGUF- und ONNX-Versionen.
Bei ungefähr 16 GB stellt der Autor Ornith-1.5–9B als Option für Agenten und Programmierwerkzeuge vor. Das Modell sei für den Einsatz auf einer einzelnen GPU ausgelegt; quantisierte Fassungen sollen den Betrieb auf kleinerer Hardware erleichtern. Eine OpenAI-kompatible Schnittstelle mit Werkzeugaufrufen könne die Einbindung in bestehende Anwendungen vereinfachen. Für allgemeine Chat- und multimodale Aufgaben nennt der Beitrag außerdem Gemma 4 12B. Die Zuordnung von Ornith zu Agenten und Programmierabläufen und Gemma zu Chat und multimodalen Aufgaben sei jedoch nur eine grobe Orientierung: Modelle, Quantisierungen und konkrete Anforderungen unterschieden sich.
Im Bereich von 24 bis 96 GB empfiehlt der Autor Qwen3.8–27B für anspruchsvollere lokale Programmierarbeit. Quantisierung könne den Speicherbedarf deutlich senken, verringere aber die Präzision. Der Beitrag beschreibt damit einen möglichen Einsatz vom Lesen und Verstehen eines Softwareprojekts bis zum Schreiben und Überarbeiten von Änderungen. Für 96 bis 196 GB führt er Qwen3.8-Flash-Next an. Zum Zeitpunkt des Schreibens sei dieses Modell auf Hugging Face noch als Vorschau oder bevorstehende Veröffentlichung gekennzeichnet gewesen; Verfügbarkeit und endgültige Spezifikationen könnten sich daher ändern.
Für 196 bis 384 GB nennt der Bericht GLM-5.3-Flash. Laut Modellkarte habe es insgesamt 320 Milliarden, davon aber 18 Milliarden aktive Parameter, und kombiniere nach Darstellung des Beitrags spärliche mit linearer Aufmerksamkeit. Es werde als nativ multimodal beschrieben. Bei 384 bis 512 GB komme das vollständige GLM-5.3 infrage, wenn Qualität wichtiger sei als Geschwindigkeit.
Der Autor betont abschließend, dass Quantisierung, Speicherarchitektur, aktive Parameter, KV-Cache und Auslagerung neben der reinen Speichermenge eine Rolle spielen. Modelle könnten mit aggressiver Quantisierung, mehreren GPUs, Systemspeicher oder CPU-Inferenz auch außerhalb der vorgeschlagenen Bereiche nutzbar sein. Die Empfehlungen sind eine hardwareorientierte Auswahlhilfe, keine Messreihe oder Garantie für Leistung und Eignung im jeweiligen Einsatz.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Geprüft wurde die mittlere Zusammenfassung; die kurze Fassung ist ebenfalls treu. Die Zusammenfassung fasst die Speicherbereiche korrekt zusammen, formuliert aber ab 384 GB offen, während der Bericht GLM-5.3 nur für 384–512 GB nennt. Die Anteilswerte in Lunas Einordnung (43 %, 37 %, 29 %) sind im Schema nicht vorgesehen und am Bericht nicht prüfbar, daher nicht bewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Ornith bietet einen OpenAI-kompatiblen Endpunkt mit Tool-Calling, sodass bestehende Agentenarchitekturen ohne große Umbauten angebunden werden können
- GLM-5.3-Flash wird als nativ multimodal beschrieben und nutzt eine hybride Aufmerksamkeitsarchitektur aus spärlicher und linearer Aufmerksamkeit
- Der Autor empfiehlt, das günstigste Modell zu wählen, das die Aufgabe zuverlässig erledigt, und nennt dazu ein Code-Beispiel mit Modellauswahl
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 81 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 77 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 88 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 43 %beantwortet teilweise oder widerspricht
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 40 %nur am Rande erwähnt
- JEV 54 %nur am Rande erwähnt
- amos 30 %nur am Rande erwähnt
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 36 %gleiches Oberthema, hilft nicht
- JEV 44 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 27 %nur am Rande erwähnt
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 47 %gleiches Oberthema, hilft nicht
- JEV 52 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv