OpenAI Realtime API & GPT-Realtime-1.5: How to Connect Any Phone Number for AI Calls
Zusammenfassung
Kurz
Der vollständige Bericht erläutert eine Demo für KI-Telefonate mit OpenAI Realtime, Vision Agents, Twilio und ngrok, beispielhaft für Restaurantreservierungen. Er behauptet Verbesserungen des Modells, dokumentiert aber keine Testergebnisse; der gezeigte Ablauf setzt zudem Twilio und eine dort aktive Telefonnummer voraus.
Mittel
Der vollständige Bericht zeigt, wie ein Telefonassistent für Restaurantreservierungen mit OpenAI Realtime und gpt-realtime-1.5 aufgebaut werden kann. Der Autor schreibt dem Modell verbesserte Anweisungsbefolgung, Werkzeugnutzung und Mehrsprachigkeit zu, liefert dafür aber keine Vergleichsdaten.
Die Demo verbindet Vision Agents zur Orchestrierung, Twilio für SIP-Telefonie und ngrok für den öffentlichen Zugriff auf einen lokalen Server. Die Anleitung beschreibt die Einrichtung eines Python-3.12+-Projekts, benötigte Zugangsdaten und einen FastAPI-WebSocket-Ablauf: Ein Agent und eine Telefonverbindung werden vorbereitet, Twilio startet den ausgehenden Anruf, und der Agent nimmt die Reservierungsanfrage entgegen. Für eingehende Anrufe soll zusätzlich der Twilio-Webhook auf die ngrok-Adresse zeigen.
Der Beitrag erwartet, dass man anschließend mit dem Agenten sprechen kann, berichtet aber keine dokumentierten Testergebnisse oder Angaben etwa zu Kosten, Datenschutz oder Sicherheit. Die behauptete Verbindung „jeder“ Telefonnummer ist durch die Anleitung eingeschränkt: Sie benötigt Twilio und eine dort aktive oder erworbene Nummer. Für geringere Latenz empfiehlt der Autor eine Bereitstellung an der US-Ostküste.
Ausführlich lesen
Der vollständige Bericht beschreibt eine Demo, mit der sich ein KI-Sprachagent für Telefonate über die OpenAI Realtime API und das Modell gpt-realtime-1.5 einrichten lässt. Als Beispiel dient ein Kundenservice-Agent, der Restaurantreservierungen entgegennimmt. Der Autor behauptet, das aktualisierte Modell folge Anweisungen zuverlässiger, rufe Werkzeuge verlässlicher auf und sei mehrsprachig genauer; der Bericht belegt diese Einschätzung jedoch nicht durch Messwerte oder einen Modellvergleich.
Zum Aufbau kombiniert der Beitrag Vision Agents für Orchestrierung und Arbeitsablauf, OpenAI Realtime für Sprachkommunikation, Twilio für SIP-Telefonie und ngrok, um einen lokalen Server öffentlich erreichbar zu machen. Die Anleitung setzt Python 3.12 oder neuer voraus und führt durch das Anlegen eines Projekts mit uv, die Installation von Vision Agents samt Plugins sowie die Konfiguration von Zugangsdaten für Stream, OpenAI und Twilio und einer ngrok-Adresse.
Der zentrale Python-Code richtet einen FastAPI-WebSocket-Endpunkt für Twilios Medienstream ein. Für ausgehende Anrufe erstellt er eine eindeutige Anruf-ID, bereitet einen Vision-Agents-Agenten und die beteiligten Nutzer vor, erzeugt einen Twilio-Medienstream-Link und stößt den Anruf über Twilio an. Der Agent erhält die Rolle eines Restaurantassistenten, soll eine Reservierung aufnehmen und mithilfe einer erwähnten Wissensbasis Buchungsfragen beantworten. Beim Verbindungsaufbau werden Agent, Telefonstream und Anruf verbunden; anschließend gibt der Agent eine erste Aufforderung aus und verarbeitet den Stream.
Zum Starten soll man den lokalen Dienst auf Port 8000 über ngrok veröffentlichen und das Skript mit einer aktiven Twilio-Absendernummer sowie einer Zielnummer ausführen. Für eingehende Anrufe empfiehlt der Beitrag außerdem, im Twilio-Dashboard den Webhook „A call comes in“ durch die ngrok-Adresse zu ersetzen. Die Anleitung verweist auf eine im Code genannte Datei mit Anweisungen für den Agenten, erklärt aber deren Inhalt oder Erstellung nicht näher.
Als erwartetes Ergebnis nennt der Autor ein Gespräch mit dem KI-Agenten und verweist auf eine Demonstration im Video. Es werden jedoch weder tatsächliche Testergebnisse noch Angaben zu Gesprächsqualität, Kosten, Datenschutz oder Betriebssicherheit berichtet. Trotz des Titels, der eine Verbindung beliebiger Telefonnummern verspricht, zeigt die Anleitung einen Ablauf, der einen Twilio-Account und eine dort aktive beziehungsweise erworbene Telefonnummer voraussetzt. Der Beitrag weist zudem darauf hin, dass die Latenz in der Entwicklungsumgebung höher sei und empfiehlt für geringere Latenz eine Bereitstellung an der US-Ostküste.
Gegengeprüft von Claude Haiku 5.5: ok
Beide Fassungen Lunas wurden geprüft; die mittlere ist treu, die kurze lässt nur Einrichtungsdetails weg. Luna überschätzt in der Einordnung beide Stufen (4 und 3), da der Bericht die Fragen nicht substanziell beantwortet.
Im Bericht, aber nicht in der Zusammenfassung
- In der Kurzfassung fehlen die Einrichtungsschritte (Python 3.12, Stream-Zugangsdaten, Projektablauf), die die mittlere Fassung abdeckt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 74 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 82 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %gleiches Oberthema, hilft nicht
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 33 %gleiches Oberthema, hilft nicht
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 31 %einzelne zitierbare Belege
- JEV 35 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug