Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai1. Oktober 2024 · Q008921

Introducing the Realtime API

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI stellte die Realtime API 2024 als Schnittstelle für direkte, latenzarme Sprachgespräche mit GPT‑4o vor, einschließlich automatischer Unterbrechungsbehandlung und Funktionsaufrufen. Die Beispiele und Sicherheitsbefunde im Bericht beruhen auf OpenAIs begrenzter Partnererprobung und eigenen Tests; spätere Nachträge nennen die allgemeine Verfügbarkeit ab August 2025 und aktualisierte Bedingungen.

Mittel

Der Bericht beschreibt die Realtime API, die OpenAI im Oktober 2024 als öffentliche Beta für zahlende Entwickler einführte. Sie streamt Audio direkt über eine dauerhafte WebSocket-Verbindung zu GPT‑4o und zurück, kann Unterbrechungen behandeln und unterstützt Funktionsaufrufe. Damit soll sie Verzögerungen und den Verlust von Betonung oder Emotion vermeiden, die beim Zusammenspiel separater Transkriptions-, Sprachmodell- und Sprachausgabemodelle auftreten können. Audio in der Chat Completions API bündelt den Prozess zwar in einem Aufruf, ist laut Bericht aber langsamer als die Realtime API.

Als frühe Beispiele nennt OpenAI den Ernährungscoach von Healthify und Sprachlern-Rollenspiele bei Speak; diese Anwendungen stammen aus einer begrenzten Partnererprobung. Für die Beta bezifferte OpenAI die Kosten auf etwa 0,06 US-Dollar pro Minute Audioeingabe und 0,24 US-Dollar pro Minute Ausgabe. Zu Sicherheitsmaßnahmen und Tests berichtet das Unternehmen, es habe keine zusätzlichen Hochrisikolücken entdeckt, die nicht durch bestehende Maßnahmen abgedeckt seien. Der Artikel kündigte weitere Modalitäten, SDKs, höhere Limits und andere Erweiterungen an. Nachträge halten fest, dass die API im August 2025 allgemein verfügbar wurde; die genannten Beta-Preise und anfänglichen Limits sind daher zeitgebundene Angaben.

Ausführlich lesen

Der Bericht stellt die Realtime API bei ihrer öffentlichen Beta-Einführung im Oktober 2024 als Möglichkeit vor, sprachbasierte Anwendungen mit geringer Verzögerung zu entwickeln. Laut OpenAI richtet sie sich an zahlende Entwicklerinnen und Entwickler und ermöglicht natürliche Gespräche, bei denen Audio direkt ein- und ausgegeben wird. GPT‑4o kann dabei auf Sprache reagieren; außerdem unterstützt die API Funktionsaufrufe, mit denen ein Sprachassistent etwa Aktionen auslösen oder zusätzliche Informationen abrufen kann.

OpenAI beschreibt den technischen Unterschied zu einem zuvor üblichen Aufbau aus mehreren Modellen: Dabei wurde Sprache erst transkribiert, der Text von einem Sprachmodell verarbeitet und die Antwort anschließend in Sprache umgewandelt. Das könne Emotion, Betonung und Akzente beeinträchtigen und spürbare Verzögerungen verursachen. Audio in der Chat Completions API bündele den Ablauf ebenfalls in einem API-Aufruf, bleibe laut Bericht aber langsamer als ein Gespräch in Echtzeit. Die Realtime API überträgt Ein- und Ausgaben dagegen fortlaufend über eine dauerhafte WebSocket-Verbindung und kann Unterbrechungen automatisch behandeln.

Als frühe Anwendungen nennt OpenAI Healthify, dessen Ernährungs- und Fitnesscoach Ria Gespräche mit Nutzenden führt und bei Bedarf menschliche Ernährungsfachkräfte einbezieht, sowie Speak, das die API für Sprachübungen in Rollenspielen verwendet. Der Bericht führt diese Beispiele als vielversprechende frühe Einsätze aus einer begrenzten Partnererprobung an, nicht als umfassende unabhängige Wirksamkeitsbewertung.

Für den Start nennt der Artikel das Modell `gpt-4o-realtime-preview`. Die damaligen Preise betrugen 5 US-Dollar je Million Text-Eingabetoken und 20 US-Dollar je Million Text-Ausgabetoken; Audio wurde mit 100 US-Dollar je Million Eingabetoken und 200 US-Dollar je Million Ausgabetoken angegeben. OpenAI bezifferte das näherungsweise auf 0,06 US-Dollar pro Minute Audioeingabe und 0,24 US-Dollar pro Minute Audioausgabe. Daneben kündigte das Unternehmen Audiofunktionen für die Chat Completions API unter `gpt-4o-audio-preview` an.

Zur Sicherheit berichtet OpenAI von automatisierter Überwachung, menschlicher Prüfung markierter Ein- und Ausgaben, internen automatisierten und menschlichen Bewertungen sowie Tests durch ein externes Red-Team-Netzwerk. Dabei seien laut OpenAI keine zusätzlichen Hochrisikolücken gefunden worden, die nicht von bestehenden Maßnahmen abgedeckt würden. Der Bericht verweist zudem auf Nutzungsregeln, die eine Kennzeichnung der KI-Interaktion verlangen, sofern diese nicht offensichtlich ist, und erklärt, dass Eingaben und Ausgaben ohne ausdrückliche Erlaubnis nicht zum Modelltraining verwendet würden. Diese Sicherheits- und Testergebnisse werden als Angaben des Unternehmens wiedergegeben.

Der Artikel nennt als geplante Erweiterungen weitere Modalitäten wie Bild und Video, höhere Nutzungslimits, SDK-Unterstützung, Prompt Caching und zusätzliche Modelle. Nachträge im bereitgestellten Text aktualisieren den Status: Im Oktober 2024 seien fünf Stimmen und vergünstigte Preise für zwischengespeicherte Token hinzugekommen; im Februar 2025 sei die Begrenzung gleichzeitiger Sitzungen aufgehoben worden; im August 2025 habe OpenAI die allgemeine Verfügbarkeit angekündigt. Die ursprünglichen Preise und Limits sind daher als Angaben zum damaligen Beta-Start zu verstehen, nicht als aktuelle Konditionen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Geprüft wurden beide Zusammenfassungen von Luna (kurz und mittel) gemeinsam. Die mittlere Fassung ist die genauere; die Zusammenfassung ist im Wesentlichen treu, lässt aber zentrale Sicherheitsaussagen aus.

Im Bericht, aber nicht in der Zusammenfassung

  • Sicherheitsmaßnahmen der Realtime API: automatisierte Überwachung und menschliche Prüfung markierter Eingaben und Ausgaben
  • Zusage, Eingaben und Ausgaben nicht ohne ausdrückliche Erlaubnis zum Training zu verwenden
  • Pflicht für Entwickler, Nutzern klarzumachen, dass sie mit einer KI interagieren
  • Grundlage ist dieselbe GPT-4o-Version wie bei Advanced Voice Mode, die nach dem Preparedness Framework bewertet wurde
  • Anwendungspartner LiveKit, Agora und Twilio sowie die Ankündigung zusätzlicher Modalitäten wie Bild und Video

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die mittlere Zusammenfassung sagt, Audio in der Chat Completions API sei laut Bericht langsamer als die Realtime API. Der Bericht sagt nur, dieser Weg bleibe langsamer als menschliche Konversation.
  • Die mittlere Zusammenfassung nennt Oktober 2024 als Einführungsdatum. Der Fließtext des Berichts enthält kein Datum; Oktober 2024 steht nur im Kopf und in den Nachträgen.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 26 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 29 %nur am Rande erwähnt
    • JEV 38 %einzelne zitierbare Belege
    • amos 30 %nur am Rande erwähnt
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 28 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 39 %einzelne zitierbare Belege
    • amos 27 %nur am Rande erwähnt
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 39 %einzelne zitierbare Belege
    • JEV 53 %einzelne zitierbare Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 24 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F4-T03 Welche neue Prüfung braucht jeder Einsatz, wenn Fähigkeiten zunehmend im Nachdenken des Modells während der Nutzung stecken statt in einem einmal trainierten Modell, und würden die für ein festes Modell gebauten Freigabetests das noch erfassen? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 23 %nur am Rande erwähnt
    • Luna 52 %einzelne zitierbare Belege
    • JEV 53 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 38 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-P3-T01 Welcher gemeinsame Rahmen für Labore macht Selbstüberwachung überprüfbar, ohne geschütztes geistiges Eigentum offenzulegen, und welche unabhängigen Verfahren Dritter, falls es sie gibt, bestätigen, dass die Selbstüberwachung riskantes Verhalten vor der Freigabe wirklich findet und nicht nur Schein ist? Luna: Stufe 4 · 23 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 22 %Hintergrund, keine Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 79 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 48 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 27 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 38 %einzelne zitierbare Belege
    • amos 31 %nur am Rande erwähnt
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 44 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 22 %gleiches Oberthema, hilft nicht
    • Luna 45 %einzelne zitierbare Belege
    • JEV 46 %umfangreiche Belege
    • amos 32 %einzelne zitierbare Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 34 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 53 %einzelne zitierbare Belege
    • JEV 58 %einzelne zitierbare Belege
    • amos 27 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 39 %gleiches Oberthema, hilft nicht
    • amos 28 %nur am Rande erwähnt
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 24 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 25 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 30 %einzelne zitierbare Belege
    • d3-ultra offen
  2. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 40 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 39 %einzelne zitierbare Belege
    • JEV 48 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 65 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

  2. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 36 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

  4. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Wirtschaft und Haftung
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 30 %nur am Rande erwähnt
    • amos 34 %nur am Rande erwähnt
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 33 %nur am Rande erwähnt
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →