Swift: Advance Audio Handling With RNNoise
Zusammenfassung
Kurz
Der vollständige Bericht zeigt eine Swift-Integrationsmethode für RNNoise: Audio wird auf mono Float32 bei 48 kHz gebracht, in 10-ms-Blöcken entrauscht und anschließend für Sprache auf 16 kHz konvertiert. Die Leistungs- und Verständlichkeitsvorteile werden vom Autor behauptet, aber nicht durch Messungen belegt; außerdem könne die iOS-eigene Rauschunterdrückung einen hörbaren Zusatznutzen verringern.
Mittel
Der vollständige Bericht erklärt, wie RNNoise in eine Swift-Audioverarbeitung eingebunden werden kann. Die Bibliothek arbeitet laut Autor lokal und erwartet mono Float32 mit genau 48 kHz. Eine erste AVAudioConverter-Umwandlung bringt das Eingangssignal in dieses Format; anschließend wird die bearbeitete Ausgabe auf 16 kHz mono heruntergerechnet. Der Autor behauptet, RNNoise sei auf Apple Silicon sehr ressourcenschonend und die kleinere Sprachausgabe bleibe verständlich, belegt diese Angaben aber nicht mit Messungen.
Da laut Bericht kein gepflegtes Swift Package oder XCFramework verfügbar ist, werden die C-Dateien manuell ins Projekt übernommen, über einen Bridging-Header eingebunden und durch Build-Einstellungen konfiguriert. Der gezeigte Denoiser verarbeitet Blöcke zu 480 Samples beziehungsweise 10 ms und hält unvollständige Reste bis zum nächsten Aufruf zurück. Optionale Einstellungen umfassen Stilleunterdrückung, Pegelnormalisierung, Filter, VAD-Schwelle, Wet/Dry-Mischung und einen zweiten RNNoise-Durchlauf. Dieser kann laut Autor die Sprache abschwächen oder Artefakte erzeugen. Der Beitrag zeigt außerdem eine iOS-Aufnahmekette und verweist für macOS auf eine HAL-Version. Als mögliche Grenze nennt er die bereits vorhandene iOS-Rauschunterdrückung. Systematische Klang- oder Leistungstests enthält der Bericht nicht.
Ausführlich lesen
Der vollständige Bericht beschreibt, wie sich die C-Bibliothek RNNoise in eine Swift-Audioverarbeitungskette für Rauschunterdrückung einbinden lässt. Der Autor stellt RNNoise als lokal arbeitende, leichtgewichtige Rauschunterdrückung auf Basis eines rekurrenten neuronalen Netzes vor. Er behauptet, die Verarbeitung benötige auf Apple-Silicon-Geräten deutlich weniger als ein Prozent CPU. Der Artikel berichtet jedoch keine eigenen Messwerte oder Vergleichstests, die diese Leistungsangabe belegen.
Die zentrale Vorgabe der Bibliothek ist laut Bericht ein Eingangssignal im Format Float32, mono und exakt 48 kHz. Deshalb beschreibt der Autor eine Verarbeitungskette mit zwei AVAudioConverter-Umwandlungen: Zunächst wird das Mikrofon- oder HAL-Signal auf das von RNNoise erwartete Format gebracht. Nach der Rauschunterdrückung wird es auf 16 kHz mono Float32 heruntergerechnet. Der Autor behauptet, die kleinere Ausgabe sei für Sprache weiterhin verständlich und ungefähr viermal kleiner als AAC bei 48 kHz; der Bericht nennt dazu keine Messmethode.
Für die Einrichtung empfiehlt der Artikel, die RNNoise-Quelldateien in das Projekt zu übernehmen, einen Swift-Bridging-Header mit rnnoise.h anzulegen und Build-Einstellungen für Header-Suchpfade, Bridging-Header sowie RNNOISE_BUILD=1 anzupassen. Eine gepflegte Swift Package- oder XCFramework-Integration gebe es nach Aussage des Autors nicht.
Der gezeigte Denoiser verarbeitet Audiodaten in 480-Sample-Blöcken, also jeweils 10 ms bei 48 kHz. Unvollständige Reste werden für den nächsten Aufruf gespeichert; eine Flush-Funktion füllt beim Beenden den letzten Block mit Nullen auf und gibt nur die noch vorhandenen Samples aus. Pro Block berechnet die Implementierung den RMS-Pegel und bietet optionale Funktionen: sehr leise Abschnitte stummschalten, den Eingangspegel normalisieren, einen Pre-Emphasis-Filter anwenden, RNNoise ein- oder zweimal ausführen, die zweite Ausführung mit getrenntem Zustand betreiben, ein VAD-Signal als Stummschwelle verwenden und das Original- mit dem bearbeiteten Signal mischen. Der Autor weist darauf hin, dass ein zweiter Durchlauf Sprache abschwächen und Artefakte verursachen kann.
Der weitere Beispielcode zeigt eine iOS-Aufnahmeklasse mit AVAudioEngine, Eingabeauswahl und Konvertierung. Für macOS verweist der Autor auf eine HAL-Variante im GitHub-Projekt. Als Einschränkung merkt er an, dass sich auf iOS ein hörbarer Zusatznutzen möglicherweise schwer erkennen lässt, weil AVAudioSession im Modus „default“ bereits gute Rauschunterdrückung bieten könne. Der Beitrag liefert Implementierungsbeispiele und Erklärungen, aber keine systematische Klangbewertung oder Leistungsprüfung.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat zwei Zusammenfassungen (kurz und mittel) geliefert; beide wurden bewertet, das Urteil bezieht sich auf beide. Für die Einordnung lag nur die Sammelfrage SF-T1 vor; Teilfragen gab es keine. Den Anteil von 34 % in Lunas Einordnung kann der Bericht nicht bestätigen.
Im Bericht, aber nicht in der Zusammenfassung
- Kurzfassung: Einstellung über Bridging-Header und Build-Einstellungen, optionale Einstellungen (Pegelnormalisierung, VAD-Schwelle, Wet/Dry-Mix, zweiter Durchlauf) und der Hinweis auf die macOS-HAL-Version fehlen
- Kurzfassung: die Aussage, dass kein gepflegtes Swift Package oder XCFramework existiert und die C-Dateien manuell übernommen werden müssen, fehlt
- Mittlere Fassung: die Behauptung, die 16-kHz-Ausgabe sei rund viermal kleiner als AAC bei 48 kHz, ohne Verständlichkeitsverlust, fehlt
- Beide Fassungen: die Pre-/De-Emphasis-Filterung und die Stilleunterdrückung (Bypass bei RMS unter Schwelle) werden nur teilweise oder gar nicht erklärt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 34 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %nur am Rande erwähnt
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug