Swift/SpeechTranscriber: Support Multi-Language Without Manual Locale Switching
Zusammenfassung
Kurz
Der Autor zeigt, wie eine macOS-Diktier-App mit einer schnellen MLX-Spracherkennung und mehreren gleichzeitig laufenden Apple-Transkriptoren zwischen ausgewählten Sprachen wählen kann. Er berichtet von rund 100 ms bis zum Transkript nach dem letzten Wort, weist aber auf Einschränkungen für iOS und darauf hin, dass seine Aussagen zur Genauigkeit nicht systematisch geprüft sind.
Mittel
Der Bericht beschreibt eine Diktier-App für macOS, die mehrere Sprachen ohne manuelles Umschalten transkribieren soll. Da Apples Speech-Framework eine Locale pro Transkriptor verlangt, schlägt der Autor vor, eine MLX-basierte Spracherkennung (LID) parallel zu mehreren Transkriptoren laufen zu lassen. Das verwendete LID-Modell sei laut den angeführten Angaben klein und schnell: etwa 15 ms für zehn Sekunden Audio auf einem M1. Die App sei auf wenige vorausgewählte Sprachen ausgelegt, meist zwei oder drei.
Der Beispielcode nimmt Audio für die LID auf, verarbeitet es mit mehreren DictationTranscribern im SpeechAnalyzer und wählt nach dem Ende der Aufnahme anhand der erkannten Sprache das passende Transkript. Der Autor berichtet von etwa 100 ms bis zum fertigen Transkript nach dem letzten Wort. Auf macOS verwendet er getrennte Aufnahmesitzungen; auf iOS seien mehrere gleichzeitige Sitzungen nicht möglich, sodass Audio gemeinsam erfasst und an beide Verarbeitungsschritte weitergegeben werden müsse. Eine mögliche Optimierung wäre, nicht passende Transkriptoren nach der Erkennung zu stoppen. Der Autor schätzt die Erkennungsgenauigkeit etwas niedriger als bei ElevenLabs ein und sagt, die API funktioniere bei ihm besser als Systemdiktat. Letzteres kennzeichnet er als persönlichen Eindruck; systematische Genauigkeitsmessungen enthält der Bericht nicht.
Ausführlich lesen
Der vollständige Bericht beschreibt einen Ansatz für eine macOS-Diktier-App, die während einer Aufnahme automatisch zwischen mehreren Sprachen wählen soll. Ausgangspunkt ist die Einschränkung, dass Apples Speech-Framework für SpeechAnalyzer, SpeechTranscriber und DictationTranscriber jeweils eine Sprache beziehungsweise Locale verlangt. Der Autor berichtet aus einem früheren Beitrag, dass MLX-Spracherkennungsmodelle wie Whisper und Qwen3 auf einem M4 Pro für fünf Sekunden Sprache bis zu drei Sekunden benötigen können und Streaming dort nicht unterstützt werde. Mit dem Speech-Framework habe er dagegen bei gestreamter Eingabe ungefähr 100 Millisekunden zwischen dem letzten gesprochenen Wort und dem fertigen Transkript gemessen.
Der vorgeschlagene Aufbau kombiniert deshalb eine Spracherkennung zur Sprachidentifikation (LID) mit mehreren Transkriptoren, die gleichzeitig mit dem SpeechAnalyzer laufen. Für die Sprachidentifikation verwendet der Autor ein kleines MLX-Audiomodell aus mlx-audio-swift. Laut den im Artikel angeführten Angaben liege dessen Laufzeit auf einem M1 bei rund 15 Millisekunden für zehn Sekunden Sprache. Der Autor hält die unterstützte Sprachauswahl für ausreichend, weil das Speech-Framework selbst seiner Einschätzung nach nur ungefähr 25 Sprachen unterstütze. Die App soll nur einige vorab ausgewählte Sprachen gleichzeitig verarbeiten, typischerweise zwei oder drei, statt eine sehr große Zahl abzudecken.
Der Code zeigt drei Bausteine. Der LanguageDetector nimmt Audio auf, lässt die LID nach fünf Sekunden oder beim vorzeitigen Abbruch die Sprache bestimmen und berücksichtigt das Ergebnis nur, wenn es zu einer der konfigurierten Locales passt. Der Transcriber kapselt einen DictationTranscriber, installiert bei Bedarf dessen Sprachressourcen und sammelt finale Transkriptteile. Der TranscriberCoordinator erzeugt Transkriptoren für die gewählten Locales, lädt ihre Ressourcen parallel und bindet sie gemeinsam in einen SpeechAnalyzer ein. Während der Aufnahme laufen Spracherkennung, Audioanalyse und das Abrufen der Transkriptionsergebnisse parallel. Beim Beenden wird die Analyse abgeschlossen, die erkannte Sprache ermittelt und das zugehörige Transkript ausgewählt. Falls die Sprachzuordnung keinen passenden Transkriptor ergibt, greift der Code zunächst auf einen Transkriptor mit vorhandenem Text und andernfalls auf den ersten zurück. Anschließend erstellt er den Analyzer neu, weil laut Autor nach Abschlussmethoden ein neuer Analyzer benötigt wird.
Für die Audioeingabe nutzt das Beispiel den CaptureInputSequenceProvider, den der Autor als Beta-27-API bezeichnet. Alternativ könne man die Puffer mit AVAudioEngine selbst verwalten. Eine wichtige Einschränkung betrifft iOS: Das Beispiel startet getrennte Aufnahmesitzungen für Analyzer und LID, was der Autor für seine macOS-App als machbar beschreibt. Auf iOS seien mehrere gleichzeitige Sitzungen nicht möglich; dort müsse eine gemeinsame Eingabe die Audiopuffer sowohl dem Analyzer zuführen als auch für die LID in einer Datei speichern. Als mögliche Optimierung nennt der Autor, für jeden Transkriptor einen eigenen Analyzer zu verwenden und nach der Spracherkennung die nicht benötigten zu stoppen. Im gezeigten Beispiel laufen dagegen alle Sprachtranskriptoren während der gesamten Aufnahme.
Der Autor bewertet das Speech-Framework als schnell und vollständig auf dem Gerät ausführbar, räumt aber ein, dass dessen Genauigkeit etwas unter der Streaming-Version von ElevenLabs liegen könne. Außerdem behauptet er, die API liefere bei ihm bessere Ergebnisse als die eingebaute Systemdiktierfunktion; zugleich merkt er an, dass dies sein persönlicher Eindruck sei und zum eigenen Vergleich einlade. Der Bericht belegt keine systematische Genauigkeitsmessung, und die Laufzeitangaben sind die vom Autor genannten Werte für bestimmte Geräte und Beispielbedingungen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Es lagen zwei Fassungen von Lunas Zusammenfassung vor (kurz und mittel). Beide wurden geprüft und sind im Kern treu. Die Kurzfassung nennt die LID eine schnelle MLX-Spracherkennung, was missverständlich ist, weil der Bericht MLX-STT ausdrücklich als langsam beschreibt. Die Mittelfassung gibt die Angaben zu 15 ms, 100 ms, Genauigkeit und Systemdiktat korrekt wieder und kennzeichnet den Eindruck zur Genauigkeit richtig als persönlich.
Im Bericht, aber nicht in der Zusammenfassung
- Begründung, warum MLX-STT-Modelle nicht taugen (bis etwa drei Sekunden für fünf Sekunden Sprache), weshalb der Autor auf Apples SpeechAnalyzer zurückgreift
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 28 %Hintergrund, keine Belege
- JEV 25 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht