Swift/MacOS OnDevice STT. Which Model To Choose? (MLX)
Zusammenfassung
Kurz
Der Autor testet Whisper- und Qwen3-ASR-Modelle für Englisch und Japanisch auf einem M4 Pro anhand weniger kurzer Aufnahmen. Whisper Small wiederholt häufig Text, während Large-v3-Turbo und Qwen in diesen Beispielen brauchbarere Ergebnisse liefern; Qwen erscheint ihm besonders für Japanisch geeignet. Die persönlichen Messungen sind wegen des einzelnen Geräts und der kleinen Zahl kurzer Tests nur begrenzt übertragbar.
Mittel
Der Autor vergleicht lokale STT-Modelle für Englisch und Japanisch auf einem M4 Pro mit 48 GB RAM. Er möchte die Sprache automatisch erkennen lassen und die Transkripte anschließend durch ein Sprachmodell korrigieren. Getestet werden Whisper Small, Medium und Large-v3-Turbo sowie Qwen3-ASR-Varianten. Die Beispiele bestehen aus wenigen Aufnahmen von ungefähr fünf Sekunden; mehrere Modelle laufen gleichzeitig.
In diesen Tests war Whisper Small trotz seiner geringeren Größe nicht zuverlässig: Es wiederholte Passagen vielfach und brauchte in Beispielen etwa 10 bis 13 Sekunden. Large-v3-Turbo lieferte nach Einschätzung des Autors meist plausiblere Ergebnisse in rund 2,5 bis 4,9 Sekunden. Qwen benötigte etwa 4,5 bis 9,2 Sekunden; Unterschiede zwischen Größen und Quantisierungen waren gering. Bei Japanisch erschien Qwen dem Autor stärker. Er weist darauf hin, dass die Modelle kein Streaming unterstützen und längere Aufnahmen daher länger warten lassen. Apples Transcriber seien bei bekannter Sprache schneller und könnten dank Streaming die Verzögerung weiter senken.
Die Befunde sind persönliche Messungen auf einem Gerät und anhand weniger kurzer Clips. Der parallele Betrieb verzerrt laut Autor die Speicherwerte; die angenommenen Referenztranskripte sind keine unabhängige Genauigkeitsmessung.
Ausführlich lesen
Der vollständige Bericht beschreibt einen persönlichen Vergleich lokaler Spracherkennungsmodelle für macOS. Der Autor sucht ein Modell, das Englisch und Japanisch automatisch erkennt, ohne dass die Sprache vorab gewählt werden muss. Er plant, die Transkripte anschließend durch ein Sprachmodell sprachlich zu bereinigen; deshalb zählt für ihn ein brauchbares Verhältnis aus Geschwindigkeit und Genauigkeit mehr als die höchste Genauigkeit allein. Apples Systemtranskription scheidet für diesen Anwendungsfall laut Autor wegen der nötigen Sprachkenntnis aus; Core-ML-Modelle hält er zum Zeitpunkt des Artikels noch nicht für produktionsreif.
Getestet wurde mit mlx-audio-swift auf einem M4 Pro mit 48 GB Arbeitsspeicher und einer Beta von macOS 27. Der Vergleich umfasst Whisper Small, Medium und Large-v3-Turbo sowie Qwen3-ASR-Modelle mit 0,6 oder 1,7 Milliarden Parametern und verschiedenen Quantisierungen. Der Autor stellt ein kleines Swift-Testprogramm bereit, das die Modelle parallel lädt und auf Audiodateien anwendet. Die gezeigten Beispiele sind sehr kurze Aufnahmen von ungefähr fünf Sekunden; die Sprache wird jeweils automatisch erkannt.
Die Messungen passen laut Autor nicht zu der Erwartung, kleinere Modelle seien schneller und größere oder höher präzise Varianten deutlich langsamer. Whisper Small war in mehreren Beispielen besonders auffällig: Es wiederholte Textteile vielfach, brach bei einem japanischen Beispiel in eine lange englische Wiederholung aus und benötigte dafür je nach Aufnahme rund 10 bis 13 Sekunden. Whisper Large-v3-Turbo lieferte in den Beispielen meist ein plausibles Ergebnis und benötigte etwa 2,5 bis 4,9 Sekunden. Die Qwen-Varianten brauchten ungefähr 4,5 bis 9,2 Sekunden. Unterschiede zwischen Qwen-Größen und Quantisierungsstufen fielen in den gezeigten Messungen klein aus. Bei japanischen Aufnahmen wirkten die Qwen-Ausgaben für den Autor überzeugender; Whisper Medium gab in einem Beispiel eine japanische Aufnahme auf Koreanisch wieder und übersetzte eine andere ins Englische.
Als praktische Folgerung empfiehlt der Autor Qwen3 besonders für Japanisch, wenn keine nachträgliche Sprachmodell-Korrektur eingesetzt wird. Whisper Small beurteilt er als instabil; Large-v3-Turbo erscheint ihm in den Beispielen als die zuverlässigere Whisper-Variante. Er betont außerdem, dass die Modelle keine Eingabe im Audiostream verarbeiten: Längere Diktate würden deshalb entsprechend länger auf ein Ergebnis warten lassen. Die ausgewiesenen Spitzenwerte beim Speicherverbrauch sind nach seiner Erklärung wegen des parallelen Betriebs nicht repräsentativ für ein einzelnes Modell. Für bekannte und unterstützte Sprachen hält er Apples DictationTranscriber und SpeechTranscriber für schneller als Whisper Large-v3-Turbo und wegen ihrer Streaming-Unterstützung potenziell verzögerungsärmer; er nennt dafür jedoch nur eigene Tests und ungefähre Zeiten.
Die Aussagekraft bleibt begrenzt: Die Ergebnisse stammen von einem einzelnen Gerät, einem bestimmten Softwarestand und wenigen sehr kurzen Beispielen. Der Autor weist selbst darauf hin, dass andere Geräte andere Resultate liefern können. Seine Annahme, Large-v3-Turbo liefere die Referenztranskription, ist eine eigene Setzung und kein unabhängiger Genauigkeitsnachweis. Auch die allgemeine Kritik an VoiceBox leitet er aus seiner Einschätzung der MLX-Whisper-Latenz ab; der Bericht zeigt dafür keinen separaten Vergleich.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassung ist im Kern treu. Die Angabe zur Länge der Aufnahmen ist nur für Beispiel 1 belegt. Die kurze Fassung lässt ebenfalls die Laufzeitbefunde und die Übersetzung durch Whisper Medium aus. Die Einordnung von Luna (Stufe 3) habe ich nach unten korrigiert, weil der Bericht keine Vorgaben zum Umgang mit Modellen macht.
Im Bericht, aber nicht in der Zusammenfassung
- Das überraschende Hauptergebnis, dass kleinere Modelle nicht schneller sind (Whisper Small war langsamer als Large-v3-Turbo)
- Whisper Medium übersetzte in Beispiel 4 das japanische Audio automatisch ins Englische
- Die Schlussfolgerung des Autors, dass Qwen bei Japanisch ohne LLM-Nachbearbeitung die bessere Wahl ist
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Beispiele bestehen alle aus Aufnahmen von etwa fünf Sekunden; der Bericht nennt diese Länge nur für Beispiel 1
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 23 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %beantwortet teilweise oder widerspricht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 47 %umfangreiche Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug