Swift: Dive into On-Device STT With CoreAI (Whisper)
Zusammenfassung
Kurz
Der Bericht erklärt, wie Whisper mit CoreAI in Swift aufgerufen wird: Audio wird in 30-Sekunden-Spektrogramme umgewandelt, und der Aufrufer steuert die Token-generierende Schleife selbst. Der Autor führt die langsame Ausführung seines gezeigten Exports auf fehlenden KV-Cache und wiederholte Berechnungen zurück; seine Laufzeitangaben sind Schätzungen, und ein vorgeschlagener Umbau wurde noch nicht erprobt.
Mittel
Itsuki beschreibt, wie sich Whisper mit Apples CoreAI in eine Swift-App integrieren lässt. Am Beispiel von `whisper-large-v3-turbo` erklärt der Bericht den Modellexport, die Prüfung der Inferenzsignatur und den Aufruf über `NDArray`. Whisper erwartet demnach kein Roh-Audio, sondern ein Log-Mel-Spektrogramm für jeweils 30 Sekunden bei 16 kHz. Der Aufrufer liefert außerdem ein Steuerpräfix und bei weiteren Decoder-Aufrufen die bereits erzeugten Tokens. Die Ausgabe besteht aus Token-Scores (`logits`), aus denen der nächste Token ausgewählt und dekodiert wird.
Als Hauptproblem des gezeigten Exports nennt der Autor die Laufzeit: Ohne KV-Cache würden Audio und bisherige Decoder-Positionen für jedes neue Token erneut verarbeitet. Eine Transkription könne dadurch laut seiner Schätzung eine Minute oder länger dauern, während MLX Sekunden brauche. Als mögliche Verbesserungen nennt er Float16, weniger Padding und einen Export mit getrenntem Encoder und zustandsbehaftetem Decoder; Letzteren habe er noch nicht ausprobiert. Die Aussagen sind technische Einschätzungen des Autors, keine systematische Benchmark-Auswertung. Der einleitende Hinweis, der Export aus Apples Repository solle nicht langsamer als MLX sein, steht neben der späteren Kritik am langsamen naiven Export.
Ausführlich lesen
Der vollständige Bericht ist eine praktische Einführung von Itsuki in die lokale Spracherkennung mit Whisper über Apples CoreAI und Swift. Der Autor erklärt, wie ein Whisper-Modell als `.aimodel` exportiert und in einer App aufgerufen wird. Als Beispiel dient `whisper-large-v3-turbo` aus Apples `coreai-models`-Repository. Für den Export empfiehlt der Bericht `uv`; außerdem wird darauf hingewiesen, dass CoreAI die Metal Toolchain in Xcode benötigt.
Ein Schwerpunkt liegt darauf, die Ein- und Ausgaben des Modells zu verstehen. Laut Bericht erwartet Whisper keine rohen Audiodaten, sondern ein Log-Mel-Spektrogramm mit der Form `1 × 128 × 3000`. Das entspricht einem 30-Sekunden-Audioabschnitt bei 16 kHz; kürzere Abschnitte werden auf die passende Länge ergänzt. Für längere Aufnahmen soll die App das Audio in 30-Sekunden-Stücke teilen und für jedes Stück ein Spektrogramm berechnen.
Der Decoder erhält neben den Audio-Merkmalen eine Tokenfolge: zunächst ein Steuerpräfix mit Start-, Sprach- und Aufgaben-Token sowie gegebenenfalls einer Einstellung für Zeitstempel. Bei weiteren Aufrufen enthält die Folge auch die zuvor erzeugten Tokens. Der Aufrufer muss die Generierung selbst in einer Schleife steuern. Das Modell liefert `logits`, also Scores für mögliche nächste Tokens, keinen fertigen Text. Der Bericht beschreibt, wie der höchste Score ausgewählt und über Whisper-Vokabular und Byte-Dekodierung in Text umgewandelt wird.
Für die Swift-Integration zeigt der Autor, wie sich das Modell laden, die Signatur einer Inferenzfunktion prüfen, `NDArray`-Eingaben anlegen, die Funktion ausführen und `logits` aus den Ergebnissen lesen lassen. Der übrige Ablauf wird als Übertragung der Python- oder MLX-Implementierung beschrieben. Eine Beispieloberfläche erlaubt den Import einer WAV-Datei und zeigt die erzeugte Transkription.
Als wesentliches Ergebnis nennt der Autor die langsame Ausführung des gezeigten Exports. Seiner Erklärung nach fehlt ihm ein KV-Cache: Bei jedem neuen Token würden erneut das gesamte Audio und bis zu 448 Decoder-Positionen verarbeitet. Der Autor schätzt, dass eine Transkription, die mit MLX Sekunden dauert, in diesem CoreAI-Ablauf eine Minute oder länger brauchen kann. Er nennt drei mögliche Ansatzpunkte: Float16 statt Float32, kürzere Decoder-Paddings und einen Umbau des Exports in getrennte Encoder- und zustandsbehaftete Decoder-Funktionen. Die letzte Möglichkeit sei noch nicht ausprobiert worden. Zugleich stellt der Einstieg klar, dass Exporte aus dem bereitgestellten Repository nicht langsamer als MLX sein sollten; der Artikel behandelt anschließend jedoch ausdrücklich einen langsamen, naiven Export. Die Laufzeitvergleiche und Verbesserungsvorschläge sind daher als Einschätzung des Autors zu verstehen, nicht als berichtete systematische Messreihe.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas beide Zusammenfassungen wurden gemeinsam gegen den vollständigen Bericht geprüft. Ihre Stufen und Anteile wurden für die Einordnung nicht übernommen. Die Sammelfragen und Teilfragen betreffen Modellherkunft, Modellregeln und Trainingsdaten, die der technische Bericht nicht behandelt.
Im Bericht, aber nicht in der Zusammenfassung
- Die Begründung, dass der Neural Engine nur float16 nutzt und der float32-Export deshalb auf GPU/CPU zurückfällt
- Der Vorschlag, das Padding auf das nächste Vielfache von 64 statt 448 Positionen zu setzen
- Der einleitende Hinweis des Autors, dass der Export aus Apples Repository bei Nutzung nicht langsamer als MLX sein soll
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 33 %umfangreiche Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 62 %umfangreiche Belege
- JEV 47 %beantwortet teilweise oder widerspricht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt