Speeding up agentic workflows with WebSockets in the Responses API
Zusammenfassung
Kurz
Der Bericht schildert, wie OpenAI durch persistente WebSocket-Verbindungen und das Wiederverwenden von Gesprächszuständen wiederholte API-Arbeit verringerte und dadurch agentische Abläufe beschleunigte. OpenAI und Partner berichten von teils deutlichen Geschwindigkeitsgewinnen; der Text nennt jedoch keine vollständigen Messbedingungen, und zwei Diagrammbeschreibungen sind abgeschnitten.
Mittel
Der Bericht erklärt, wie OpenAI WebSockets in der Responses API nutzte, um agentische Abläufe wie Codex’ Werkzeugschleifen zu beschleunigen. Da schnellere Modellinferenz den Aufwand der API stärker sichtbar machte, optimierte das Team zunächst Zwischenspeicherung, Netzwerkwege und Sicherheitsprüfungen. Diese Maßnahmen verbesserten laut OpenAI die Zeit bis zum ersten Token um fast 45 Prozent, lösten aber nicht das wiederholte Verarbeiten des gesamten Gesprächsverlaufs.
Die WebSocket-Lösung hält eine Verbindung offen und speichert Antwortzustände im Arbeitsspeicher. Folgeaufrufe mit `previous_response_id` können so frühere Inhalte und wiederverwendbare Daten nutzen, während Prüfungen nur neue Eingaben bearbeiten. Eine frühe, besonders effiziente Variante wurde zugunsten einer vertrauteren Nutzung mit `response.create` angepasst.
OpenAI berichtet von bis zu 40 Prozent schnelleren agentischen Abläufen bei Alpha-Nutzern. Genannt werden außerdem Spitzenwerte von 4.000 Tokens pro Sekunde für GPT‑5.3‑Codex‑Spark sowie Verbesserungen bei Vercel, Cline und Cursor. Diese Zahlen sind Anbieter- beziehungsweise Nutzerangaben; der Bericht nennt keine vollständigen Messbedingungen. Die Beschreibungen zweier Diagramme sind im bereitgestellten Text abgeschnitten.
Ausführlich lesen
Der Bericht beschreibt, wie OpenAI WebSockets in der Responses API einsetzte, um agentische Abläufe wie Codex’ Codeänderungen zu beschleunigen. Solche Abläufe bestehen aus vielen aufeinanderfolgenden API-Aufrufen: Das Modell wählt einen Schritt, ein Werkzeug wird ausgeführt, das Ergebnis geht zurück an die API, und der Zyklus wiederholt sich. Laut Bericht beanspruchten dabei neben Modellinferenz auch API-Verarbeitung und lokale Werkzeugausführung Zeit. Weil die Inferenz schneller wurde, fiel der Aufwand der API stärker ins Gewicht.
OpenAI berichtet von einem Leistungsschub für GPT‑5.3‑Codex‑Spark, das auf spezialisierter Cerebras-Hardware laufen sollte. Eine vorherige Optimierungsrunde senkte demnach die Zeit bis zum ersten Token um nahezu 45 Prozent. Zu den Maßnahmen zählten das Zwischenspeichern gerenderter Tokens und von Modellkonfigurationen, das Entfernen bestimmter Netzwerkzwischenstationen sowie schneller laufende Sicherheitsprüfungen. Dennoch blieb die wiederholte Verarbeitung des gesamten Gesprächsverlaufs ein Engpass: Auch bei weitgehend unverändertem Kontext fiel diese Arbeit bei jedem Folgeaufruf erneut an.
Als Lösung entwickelte das Team einen persistenten WebSocket-Kanal. Eine frühe Variante hielt einen einzelnen Response über Werkzeugaufrufe hinweg offen und setzte die Modellverarbeitung fort, sobald der Client das Werkzeugergebnis zurücksandte. Diese Variante reduzierte laut Bericht wiederholte API-Arbeit, erforderte aber eine ungewohnte und komplexere API-Nutzung. Die veröffentlichte Version behielt deshalb das bekannte Muster `response.create` bei. Mit `previous_response_id` kann ein Folgeaufruf an den vorherigen Antwortzustand anknüpfen. Der Server hält dazu Zustände im Arbeitsspeicher der Verbindung vor, darunter vorherige Response-Objekte, Ein- und Ausgaben, Werkzeugdefinitionen sowie wiederverwendbare Sampling-Daten.
So können Prüfungen und Sicherheitsklassifikatoren laut Bericht nur neue Eingaben verarbeiten, Tokens weiterverwendet und Modellrouting wiederholt genutzt werden. Außerdem lasse sich nicht blockierende Nachbearbeitung, etwa die Abrechnung, mit Folgeaufrufen überlappen.
OpenAI gibt an, dass Alpha-Nutzer Verbesserungen von bis zu 40 Prozent bei agentischen Abläufen meldeten. Nach dem Start habe Codex den Großteil seines Responses-API-Verkehrs auf WebSockets umgestellt. Für GPT‑5.3‑Codex‑Spark nennt der Bericht das Erreichen des Ziels von 1.000 Tokens pro Sekunde und Spitzenwerte von 4.000. Als weitere Rückmeldungen führt er bis zu 40 Prozent niedrigere Latenz bei Vercel, 39 Prozent schnellere Mehrdatei-Abläufe bei Cline und bis zu 30 Prozent höhere Geschwindigkeit für OpenAI-Modelle in Cursor an. Das sind im Bericht wiedergegebene Angaben des Anbieters und der genannten Nutzer, keine unabhängig geprüften Messungen. Der Text nennt außerdem keine vollständigen Messbedingungen oder Vergleichsdetails; Prozentwerte wie „bis zu“ sind daher nicht als allgemeine Garantie zu verstehen. Die beiden Diagrammbeschreibungen im bereitgestellten Bericht sind teilweise abgeschnitten; die später angehängten Bildkarten liefern keine zusätzlichen Ergebnisse.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurden beide vorgelegten Zusammenfassungen gemeinsam; die kurze ist inhaltlich treu, der mittleren fehlen die Kernzahlen. Lunas eigene Stufen- und Anteilangaben wurden nicht übernommen, die Einordnung erfolgt unabhängig.
Im Bericht, aber nicht in der Zusammenfassung
- Die Aussage des Berichts, dass Agentenschleifen über die API insgesamt 40 Prozent schneller ende-zu-ende wurden
- Das Ziel, die Inferenzgeschwindigkeit von rund 65 auf knapp 1.000 Tokens pro Sekunde zu steigern
- Die Erreichung von 1.000 TPS für GPT-5.3-Codex-Spark im Produktivbetrieb und Spitzen bei rund 4.000 TPS
- Der Hinweis auf spezialisierte Cerebras-Hardware als Grund für die höhere Inferenzgeschwindigkeit
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 32 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 76 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 45 %einzelne zitierbare Belege
- JEV 28 %umfangreiche Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 40 %einzelne zitierbare Belege
- amos 27 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Alle Berichte im Archiv