How we built a realtime system for responsive voice AI in six months
Zusammenfassung
Kurz
OpenAI beschreibt GPT‑Live als Sprachsystem mit kontinuierlichem Audiofluss, das gleichzeitig zuhört und spricht und langsamere Denk- oder Werkzeugaufgaben parallel auslagert. Der Bericht nennt außerdem Maßnahmen für lange Sitzungen und schnellere Verbindungen sowie Probleme, die in stillen Produktionstests sichtbar wurden; die Leistungsangaben sind OpenAIs eigene Darstellung und nur begrenzt mit unabhängigen Vergleichsdaten belegt.
Mittel
Der Bericht schildert OpenAIs Aufbau von GPT‑Live, einem Sprachsystem, das laut Unternehmen gleichzeitiges Zuhören und Sprechen ermöglicht. Ältere Systeme mussten erst per Turn-Detektor entscheiden, ob jemand fertig gesprochen hatte. GPT‑Live halte den Audiostrom dagegen auf einem direkten Echtzeitpfad und lagere Schlussfolgern, Werkzeugaufrufe und weitere Anwendungslogik in asynchrone Abläufe aus. So sollten Verzögerungen einzelner Dienste die Medienübertragung nicht blockieren.
Für lange Gespräche könne eine vorbereitete Modellinstanz nahtlos übernehmen, auch wenn der Gesprächskontext verdichtet werden müsse. Größere Modelle würden für zusätzliche Denk- oder Werkzeugaufgaben mit vorbereiteten Sitzungen eingebunden. Teiltranskripte und Zeitangaben dienten dazu, den kontinuierlichen Sprachfluss für ChatGPTs Oberfläche und Protokolle in einzelne Beiträge zu überführen; dabei müsse das System Aktualität gegen Zuverlässigkeit abwägen.
Zum schnelleren Verbindungsaufbau nennt OpenAI WARP, das laut Bericht die WebRTC-Aushandlung von sechs Netzwerk-Rundreisen auf eine verkürze, sowie vorab ausgehandelte Verbindungsparameter. Ein stiller Test mit realen Sitzungen habe Engpässe bei CPU, Netzwerk, Regionen und langen Verbindungen offengelegt und zu besseren Messungen und stufenweisen Einführungen geführt. Die Leistungsangaben sind Selbstaussagen des Berichts; unabhängige Vergleichsdaten werden nur begrenzt genannt.
Ausführlich lesen
Der Bericht beschreibt, wie OpenAI GPT‑Live in sechs Monaten als Echtzeit-Sprachsystem aufgebaut habe. Sein zentrales Problem: Bei älteren Sprachsystemen musste ein separater Detektor entscheiden, wann jemand fertig gesprochen hatte. Eine zu frühe Entscheidung konnte Nutzer unterbrechen, eine zu späte ließ Antworten verzögert wirken. GPT‑Live setze stattdessen auf ein Vollduplex-Sprachmodell, das gleichzeitig zuhören und sprechen könne. Aufwendigeres Schlussfolgern und Werkzeugnutzung würden bei Bedarf parallel an größere Modelle wie GPT‑5.5 delegiert.
Laut Bericht ist die Architektur auf einen stetigen Audiostrom ausgelegt. Medienverkehr laufe über einen eigenen, direkten Pfad zwischen Client und Sprachmodell; Werkzeugaufrufe und weitere Anwendungslogik würden asynchron abgewickelt. So sollten langsame Dienste die Audioübertragung nicht aufhalten. Die Medienfrontend- und Inferenzlogik sei von Python asyncio auf Go umgestellt worden. Dadurch sei die Zustellung von Audiobildern gleichmäßiger geworden; das p95-Latenzmaß des neuen Systems entspreche dem p50 des vorherigen. WebRTC bilde die Transportgrundlage und könne unter anderem Paketverlust, Taktschwankungen und Verbindungswechsel auffangen.
Für lange Gespräche beschreibt OpenAI einen Übergang zwischen Modellinstanzen: Eine neue Instanz werde mit dem Gesprächskontext vorbereitet und übernehme erst, wenn sie bereit sei. Dasselbe Verfahren solle die Verdichtung des Kontexts ermöglichen, wenn dieser zu groß werde. Die Arbeit dafür und der Neuaufbau des KV-Caches könnten parallel zum laufenden Gespräch stattfinden. Bei der Delegation an größere Modelle würden Sitzungen samt vorverarbeitetem Anfangskontext vorbereitet, wiederverwendet und mit stabiler Sitzungszuordnung sowie Prompt-Caching beschleunigt.
Da andere ChatGPT-Systeme einzelne Sprecherbeiträge benötigen, leite der Anwendungsserver aus Teiltranskripten und Zeitinformationen vorläufige und später bestätigte Nachrichten ab. Der Bericht betont den Zielkonflikt: Frühe Zuordnung liefert Aktualität, kann aber Reihenfolge und Verlauf instabil machen; längeres Abwarten erhöht die Sicherheit, verzögert jedoch Transkripte. Die laufende Benutzeroberfläche könne vorläufige Informationen nutzen, während die Analyseprotokolle einen endgültigen Wortlaut benötigten.
Für den Sitzungsstart stellt der Bericht zwei Maßnahmen vor. Das Protokoll WARP solle den WebRTC-Start von sechs Netzwerk-Rundreisen auf eine reduzieren; die Vorschläge würden in der IETF-TSVWG weiterentwickelt und seien laut OpenAI bereits in libwebrtc und Pion aufgenommen worden. „Instant Connect“ verhandle Verbindungsparameter vorab und ermögliche einen Rückfall auf die normale Signalisierung, falls diese ungültig seien.
OpenAI schildert außerdem einen stillen Produktionstest mit einem wachsenden Anteil realer Sitzungen, bei dem das bisherige Angebot für Nutzer weiterlief. Dabei seien Engpässe bei CPU, Warteschlangen und Netzwerk, regionale Verzögerungen, Probleme bei langen Sitzungen und Wiederverbindungen sowie Schwächen in Überwachung und Konfiguration aufgefallen. Als Reaktionen nennt der Bericht granularere Messwerte, geprüfte Konfigurationen, gestufte Einführung und schnelle Abschaltmöglichkeiten. Die dargestellten Leistungs- und Qualitätsaussagen stammen aus dem Bericht selbst; unabhängige Messwerte oder detaillierte Vergleichsdaten legt der Text nur begrenzt vor. Er kündigt an, dass die Architektur auch eine kommende GPT‑Live-API tragen solle.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Beide Zusammenfassungen (kurz und mittel) wurden gemeinsam geprüft und sind weitgehend treu; die Eigenbewertung zu Leistungsangaben stammt nicht aus dem Bericht. Der Bericht behandelt Sprach-Engineering und Latenz, kaum KI-Sicherheit, daher fallen die Einordnungen niedrig aus. Die Abbildungen 4 bis 6 sind fachfremde Kopfbilder ohne Bezug zum Thema.
Im Bericht, aber nicht in der Zusammenfassung
- Der stille Test lief im Nur-Lese-Modus (Schattenpfad), ohne dass Nutzer etwas anderes hörten
- Das Medien-Frontend wurde von Python asyncio auf Go umgestellt, mit gleichmäßigerer Frame-Zustellung (p95 entspricht vorher p50)
- Kontextverdichtung macht den KV-Cache ungültig; OpenAI behandelt sie als geplanten Übergang statt als Neuaufbau mit Verzögerung
- Die Anbindung an die ChatGPT-Desktop-App mit Computersteuerung und Agentenkoordination wird nicht erwähnt
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, Leistungsangaben seien nur begrenzt durch unabhängige Vergleichsdaten belegt, steht so nicht im Bericht und ist eine eigene Bewertung Lunas
- Die Formulierung, OpenAI nenne Netzwerkengpässe als Testproblem, geht über den Bericht hinaus, der vor allem CPU-seitige Komponenten, Geografie und lange Sitzungen nennt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M2 Wie muss ein Meldekanal zwischen Staaten gebaut sein, damit er verlässlich arbeitet, auch in einer Krise?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-M5 Was muss vor und nach einem Vorfall geschehen, damit Verantwortliche einstehen, man daraus lernt, Beweise bleiben und Betroffene auch über Grenzen hinweg zu ihrem Recht kommen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 46 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 63 %einzelne zitierbare Belege
- JEV 32 %einzelne zitierbare Belege
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 74 %einzelne zitierbare Belege
- JEV 35 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus?
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 89 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 46 %einzelne zitierbare Belege
- JEV 32 %umfangreiche Belege
- amos 25 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 50 %einzelne zitierbare Belege
- JEV 48 %nur am Rande erwähnt
- amos 33 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 87 %einzelne zitierbare Belege
- JEV 62 %einzelne zitierbare Belege
- amos 29 %einzelne zitierbare Belege
- SubQ 31 %gleiches Oberthema, hilft nicht
- drex 27 %einzelne zitierbare Belege
- d3-ultra 40 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-A2-T01 Welche Tests zeigen, dass ein Agent sicher angehalten, zurückgesetzt oder abgeschottet werden kann, wenn er sich unerwartet verhält, auch wenn er das Abschalten vorhersieht oder sich wehrt?
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 79 %einzelne zitierbare Belege
- JEV 45 %einzelne zitierbare Belege
- amos 28 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-A3-T01 Welche Beobachtungen oder gemeinsamen Tests erkennen entstehende Abstimmung, Absprachen oder Kettenfehler zwischen Modellen in Arbeitsabläufen, Lieferketten und Gruppen vieler Agenten (Schwärmen), die kein einzelnes Labor steuert oder vorhersieht?
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv