Introducing Whisper
Zusammenfassung
Kurz
Der Beitrag von 2022 beschreibt Whisper als quelloffenes Spracherkennungssystem, das mit 680.000 Stunden mehrsprachiger Daten trainiert wurde und laut OpenAI robuste Transkription sowie Übersetzung ermöglicht. OpenAI berichtet gute Zero-Shot-Ergebnisse, räumt aber ein, dass spezialisierte Modelle bei LibriSpeech besser abschneiden; aktuelle Leistungsdaten enthält der Beitrag nicht.
Mittel
Der Beitrag stellt Whisper vor, ein 2022 veröffentlichtes, quelloffenes Spracherkennungssystem samt Inferenzcode. OpenAI zufolge wurde es mit 680.000 Stunden mehrsprachiger, überwachter Webdaten trainiert. Das System soll dadurch robust gegenüber Akzenten, Hintergrundgeräuschen und Fachsprache sein und mehrere Sprachen transkribieren sowie ins Englische übersetzen können.
Whisper verarbeitet 30-Sekunden-Audioabschnitte als Log-Mel-Spektrogramme in einer Encoder-Decoder-Transformer-Architektur. Spezielle Token steuern Aufgaben wie Spracherkennung, Zeitmarken, Transkription und Übersetzung. Etwa ein Drittel der Trainingsdaten sei nicht englischsprachig gewesen.
Die Autorinnen und Autoren berichten, Whisper übertreffe bei LibriSpeech keine dafür spezialisierten Modelle. In Zero-Shot-Tests über unterschiedliche Datensätze hinweg habe es jedoch 50 Prozent weniger Fehler als die verglichenen Modelle gemacht. Für die Zero-Shot-Übersetzung ins Englische auf CoVoST2 beansprucht der Beitrag eine Überlegenheit gegenüber dem überwachten Spitzenstand. Diese Ergebnisse sind Aussagen des Beitrags; aktuelle Leistungsdaten enthält er nicht. Für heutige Fähigkeiten verweist die Seite auf eine separate Modellübersicht.
Ausführlich lesen
Der Beitrag stellt Whisper vor, ein automatisches Spracherkennungssystem, das OpenAI 2022 als Modell und mit Inferenzcode quelloffen bereitstellte. Laut Beitrag wurde Whisper mit 680.000 Stunden mehrsprachiger, über das Web gesammelter und überwachter Daten trainiert. Die Autorinnen und Autoren führen die Robustheit des Systems auf Umfang und Vielfalt dieses Datensatzes zurück: Es solle mit Akzenten, Hintergrundgeräuschen und Fachsprache besser umgehen und Sprache in mehreren Sprachen verschriftlichen sowie in englische Texte übersetzen können.
Whisper nutzt eine Encoder-Decoder-Transformer-Architektur. Das Eingangsaudio wird in Abschnitte von 30 Sekunden geteilt und in Log-Mel-Spektrogramme umgewandelt, die der Encoder verarbeitet. Der Decoder sagt den zugehörigen Text voraus. Spezielle Token steuern laut Beschreibung zusätzliche Aufgaben, darunter Spracherkennung, Zeitmarken auf Phrasenebene, mehrsprachige Transkription und Übersetzung ins Englische.
Der Beitrag vergleicht Whisper mit Ansätzen, die kleinere, enger gepaarte Audio- und Textdatensätze oder breit angelegtes, unüberwachtes Audio-Vortraining verwenden. Die Autorinnen und Autoren räumen ein, dass Whisper wegen seines allgemeinen Trainings und fehlender Feinabstimmung auf einen einzelnen Datensatz spezialisierte Modelle bei LibriSpeech nicht übertrifft. Bei Zero-Shot-Auswertungen über verschiedene Datensätze hinweg habe Whisper jedoch eine höhere Robustheit gezeigt und 50 Prozent weniger Fehler gemacht als die verglichenen Modelle. Das ist eine im Beitrag berichtete Vergleichsaussage; die Zusammenfassung liefert keine zusätzlichen unabhängigen Messdaten.
Etwa ein Drittel der Trainingsdaten sei nicht englischsprachig gewesen. Whisper erhielt abwechselnd den Auftrag, die Sprache im Original zu transkribieren oder ins Englische zu übertragen. Laut Beitrag erwies sich dieses Verfahren besonders für Sprachübersetzung als wirksam; bei der Zero-Shot-Übersetzung ins Englische auf CoVoST2 habe es den dortigen überwachten Spitzenstand übertroffen.
Als Ziel nennt der Beitrag, Entwicklerinnen und Entwicklern durch Genauigkeit und einfache Nutzung mehr sprachgesteuerte Anwendungen zu ermöglichen. Er verweist für weitere Einzelheiten auf Forschungsarbeit, Modellkarte und Code. Der Text stellt Whisper ausdrücklich als Einführung aus dem Jahr 2022 dar und verweist für aktuelle Audio- und Transkriptionsmöglichkeiten auf eine separate Modellübersicht. Er enthält keine aktualisierten Leistungswerte oder weitergehenden Angaben zu heutigen Fähigkeiten.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Geprüft wurden die mittlere und die kurze Zusammenfassung zusammen; beide geben den Bericht sachlich korrekt wieder, die Einordnung ist unabhängig von Lunas Stufen vergeben und weicht bei mehreren Fragen deutlich ab.
Im Bericht, aber nicht in der Zusammenfassung
- Die Aussage, dass Whisper eine annähernd menschliche Robustheit und Genauigkeit bei englischer Spracherkennung erreicht.
- Der Zweck der Open-Source-Veröffentlichung, nämlich als Grundlage für Anwendungen und Forschung zu robuster Sprachverarbeitung zu dienen.
- Die Hoffnung, dass Sprachschnittstellen dadurch in deutlich mehr Anwendungen eingebaut werden können.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Formulierung „Die Autorinnen und Autoren“ ist nicht belegt, denn der Bericht nennt als Herausgeber nur OpenAI und keine namentlichen Autorinnen oder Autoren.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 42 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 51 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %gleiches Oberthema, hilft nicht
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 69 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 45 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 54 %einzelne zitierbare Belege
- JEV 52 %einzelne zitierbare Belege
- amos 23 %einzelne zitierbare Belege
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 66 %umfangreiche Belege
- JEV 42 %beantwortet teilweise oder widerspricht
- amos 32 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 67 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv