Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com20. August 2026 · Q011215

Qwen 3.8 27B Uncensored Just Landed on the Mac — No CUDA, No Cloud

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Beitrag stellt eine laut Autor lokal auf Apple-Silicon-Macs ausführbare, multimodale 27B-MLX-Version von Qwen 3.8 vor, deren Ablehnungsverhalten durch Abliteration verringert worden sei. Er nennt Quantisierungen von 2 bis 8 Bit und lokale Bild-, Text- und API-Nutzung, warnt aber vor Qualitätsverlusten, Modellfehlern und Sicherheitsrisiken; die Leistungsangaben seien nicht ohne Weiteres auf Macs übertragbar.

Mittel

Der Beitrag beschreibt eine von OrcaRouter veröffentlichte MLX-Version von Qwen 3.8 mit 27 Milliarden Parametern, die laut Autor auf Apple-Silicon-Macs lokal laufen soll. Genannt werden Bildverarbeitung, Werkzeugaufrufe, steuerbares „Thinking“, hybride Aufmerksamkeit und ein Kontextfenster von 262.000 Tokens. Eine sogenannte Abliteration soll das Ablehnungsverhalten des Modells deutlich verringern. Laut Release-Angaben hätten Red-Team-Proben bei den 4-, 6- und 8-Bit-Versionen keine Ablehnungen ausgelöst. Der Autor sieht Forschungsnutzen, warnt aber vor gefährlichen Ausgaben und empfiehlt eigene Sicherheitskontrollen.

Der Beitrag erläutert Installation und lokale Nutzung über `mlx-vlm`; auch ein lokaler Server mit OpenAI-kompatibler Schnittstelle werde unterstützt. Die Quantisierungen reichen laut Tabelle von rund 8,7 GB (2 Bit) bis 27,5 GB (8 Bit). Der Autor favorisiert 4 Bit als Kompromiss und nennt eine berichtete Ähnlichkeit von 0,996 zur Vorlage. Die 2-Bit-Fassung könne stark an Qualität verlieren oder unverständliche Ausgaben erzeugen. Ein Wert von 32–37 Tokens pro Sekunde beziehe sich auf eine H200 und lasse sich nicht auf Macs übertragen. Halluzinationen, Missverständnisse und fehlerhafter Code blieben möglich; lokale Ausführung allein mache das Modell nicht sicher. Die Leistungs- und Qualitätsangaben werden im Beitrag behauptet, aber nicht unabhängig belegt.

Ausführlich lesen

Der Beitrag stellt eine von OrcaRouter veröffentlichte, laut Autor „uncensored“ MLX-Version von Qwen 3.8 mit 27 Milliarden Parametern vor. Sie soll nativ auf Apple-Silicon-Macs laufen und dafür Metal statt CUDA nutzen. Als technische Merkmale nennt der Text ein dichtes multimodales Modell mit Bildverarbeitung, Werkzeugaufrufen, steuerbarem „Thinking“, hybrider Aufmerksamkeit und einem Kontextfenster von 262.000 Tokens. Die Architektur bestehe laut Beitrag aus 48 linearen Gated-DeltaNet-Aufmerksamkeits- und 16 vollständigen Aufmerksamkeits-Schichten, wobei regelmäßig eine vollständige Schicht eingesetzt werde.

Die Modellvariante sei durch „Abliteration“ verändert worden: Dabei werde eine mit Ablehnungen verbundene interne Richtung des Modells entfernt. Der Autor betont, das mache das Modell nicht intelligenter, sondern verringere sein Ablehnungsverhalten. Release-Angaben zufolge hätten Tests der 4-, 6- und 8-Bit-Versionen bei Red-Team-Anfragen keine Ablehnungen ergeben. Der Beitrag sieht darin einen möglichen Nutzen für Sicherheitsforschung, warnt aber vor der Erzeugung gefährlicher Inhalte und empfiehlt für Anwendungen eigene Moderations- und Schutzmechanismen.

Als Vorgehen beschreibt der Text die Installation von `mlx-vlm` in mindestens Version 0.6.13 sowie `mlx` ab Version 0.32, den Download einer Quantisierung und die lokale Ausführung über die Kommandozeile. Neben Textgenerierung werde auch die Eingabe von Bildern unterstützt. Ein Servermodus soll eine OpenAI-kompatible Schnittstelle auf einem lokalen Port bereitstellen, über die andere Programme das Modell ansprechen können.

Der Beitrag vergleicht vier Quantisierungen: etwa 27,5 GB für 8 Bit, 22 GB für 6 Bit, 15 GB für 4 Bit und 8,7 GB für 2 Bit. Die dazu genannten RAM-Bedarfsschätzungen reichen von ungefähr 32 GB bis 16 GB. Der Autor empfiehlt 4 Bit als möglichen Kompromiss und führt dafür eine berichtete Cosinus-Ähnlichkeit von 0,996 zur Vorlage an. Zugleich bezeichnet er die Qualität der 2-Bit-Version als stark vermindert und berichtet von möglicher Instabilität und unverständlicher Ausgabe.

Als Leistungswert nennt der Beitrag 32 bis 37 Tokens pro Sekunde auf einer einzelnen H200 mit MLX-CUDA-Backend. Dieser Wert sei kein Leistungsversprechen für Macs: Die Geschwindigkeit hänge unter anderem von Chipgeneration, gemeinsamem Speicher, Quantisierung, Kontext und thermischen Bedingungen ab. Weitere Grenzen seien Halluzinationen, Missverständnisse und fehlerhafter Code; das Entfernen von Ablehnungen behebe diese Schwächen nicht. Für Agenten rät der Autor zu begrenzten Werkzeugrechten, Sandbox, Ergebnisprüfung sowie Ein- und Ausgabefiltern. Die Angaben und Bewertungen werden im Bericht wiedergegeben; unabhängige Messergebnisse oder eine Überprüfung der Produktangaben enthält der Text nicht.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassung wurde am Berichtstext geprüft; die Einordnung bewertet nur, was der Bericht selbst zu den Fragen hergibt, unabhängig von Lunas Stufen.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Mechanismus der Abliteration, bei dem die mit Ablehnung verbundene Richtung im Residualstrom entfernt wird, wird nicht erläutert

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 32 %gleiches Oberthema, hilft nicht
    • Luna 42 %Hintergrund, keine Belege
    • JEV 36 %Hintergrund, keine Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 61 %gleiches Oberthema, hilft nicht

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 43 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 70 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 41 %nur am Rande erwähnt
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 77 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-F3-T02 Welche Verantwortung sollten KI-Firmen gegenüber der Öffentlichkeit tragen, wenn ihre Modelle grundlegende wissenschaftliche Entdeckungen ermöglichen, die gefährliche Anwendungen finden könnten? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 39 %Hintergrund, keine Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 45 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 36 %gleiches Oberthema, hilft nicht
    • Luna 34 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 70 %gleiches Oberthema, hilft nicht
    • drex 69 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 25 %einzelne zitierbare Belege
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 24 %Hintergrund, keine Belege
    • d3-ultra 55 %gleiches Oberthema, hilft nicht

    • SF-V1-T01 Welche beobachtbaren Belege zeigen die Ziele und Werte eines Modells und ob es noch ausgerichtet ist, wenn seine sichtbaren Gedankengänge kein verlässlicher Hinweis mehr darauf sind oder ihre Überwachung nachlässt? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege
    • SF-V1-T07 Lieber ein Modell, das immer seinen Lösungsweg zeigen muss, oder eines, das im Stillen mehr kann: Welches Risiko nimmt man in Kauf? Luna: Stufe 3 · 45 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
    • SF-V1-T13 Wenn sich vorgeführte und tatsächlich vertretene Tugend im Text nicht unterscheiden lassen: Soll der Unterschied trotzdem bestimmen, wie man Modelle baut und regelt? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 19 %gleiches Oberthema, hilft nicht
    • Luna 53 %Hintergrund, keine Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

    • SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 55 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 19 %nur am Rande erwähnt
    • Luna 48 %einzelne zitierbare Belege
    • JEV 50 %beantwortet teilweise oder widerspricht
    • amos 30 %einzelne zitierbare Belege
    • SubQ 31 %Hintergrund, keine Belege
    • drex 28 %einzelne zitierbare Belege
    • d3-ultra 36 %Hintergrund, keine Belege

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 25 % · Hintergrund, keine Belege
    • SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 24 %nur am Rande erwähnt
    • Luna 50 %einzelne zitierbare Belege
    • JEV 43 %beantwortet teilweise oder widerspricht
    • amos 28 %einzelne zitierbare Belege
    • SubQ 25 %nur am Rande erwähnt
    • drex 26 %Hintergrund, keine Belege
    • d3-ultra 39 %einzelne zitierbare Belege
    • Haiku-Prüfung beantwortet teilweise oder widerspricht

  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 35 %gleiches Oberthema, hilft nicht
    • Luna 33 %Hintergrund, keine Belege
    • JEV 29 %gleiches Oberthema, hilft nicht
    • amos 34 %nur am Rande erwähnt
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra 63 %gleiches Oberthema, hilft nicht

  3. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 35 %gleiches Oberthema, hilft nicht
    • Luna 52 %Hintergrund, keine Belege
    • JEV 28 %gleiches Oberthema, hilft nicht
    • amos 32 %nur am Rande erwähnt
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 60 %gleiches Oberthema, hilft nicht

Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 24 %Hintergrund, keine Belege
    • Luna 54 %einzelne zitierbare Belege
    • JEV 44 %beantwortet teilweise oder widerspricht
    • amos 26 %einzelne zitierbare Belege
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 26 %einzelne zitierbare Belege
    • d3-ultra 33 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-H2-T01 Was unterscheidet das Veröffentlichen von Modellgewichten (den gelernten Parametern) oder von Agentenwerkzeugen mit offenem Quellcode vom Freisetzen einer Waffe: die Absicht des Akteurs, die Selbstständigkeit des Modells, seine Verwendung oder der Schaden, den es von sich aus anrichten kann? Und können Staaten diese Grenze gemeinsam festschreiben, bevor ein offenes Modell im Mittelpunkt eines schweren Vorfalls steht? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 53 %einzelne zitierbare Belege
    • JEV 62 %beantwortet direkt und ausführlich
    • amos 28 %Hintergrund, keine Belege
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 28 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung beantwortet teilweise oder widerspricht

  3. SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 73 %gleiches Oberthema, hilft nicht
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 53 %gleiches Oberthema, hilft nicht
    • SubQ 92 %gleiches Oberthema, hilft nicht
    • drex 82 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 69 %Hintergrund, keine Belege
    • JEV 60 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 36 %einzelne zitierbare Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 78 %gleiches Oberthema, hilft nicht
    • drex 64 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht

    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →