Rapidly scaling online storage to serve over 1 billion ChatGPT users
Zusammenfassung
Kurz
OpenAI schildert, wie Habitat von einer Python-Bibliothek zu einem zentralen Speicherdienst für sehr hohe Anfragezahlen wurde, und nennt Maßnahmen gegen Latenzen, ungleichmäßige Last und zu viele Verbindungen. Laut Unternehmen bearbeitet inzwischen Rust 95 Prozent der Produktionsanfragen und benötigt deutlich weniger CPU und Speicher als Python; die Leistungsangaben werden im Bericht nicht unabhängig überprüft.
Mittel
OpenAI beschreibt Habitat als zentrale Online-Speicherplattform, die nach eigenen Angaben mehr als 70 Millionen Anfragen pro Sekunde für Produkte mit über einer Milliarde wöchentlich aktiven Nutzern verarbeitet. Die Plattform begann 2023 als Python-Bibliothek für den Zugriff auf Azure Cosmos DB. Weil Änderungen an der Bibliothek über viele Dienste hinweg schwierig und störungsanfällig auszurollen waren, machte OpenAI daraus einen zentral betriebenen Dienst, der Bereitstellungen, Beobachtbarkeit und Sicherheitsregeln vereinheitlicht.
Für die Skalierung mit Python habe das Team Ereignisloop-Verzögerungen beobachtet, weniger gleichzeitige Anfragen je Prozess zugelassen und die Zahl der Prozesse erhöht. Kleinere und seltener aktualisierte Feature-Flag-Konfigurationen sowie eine Änderung der Verbindungswiederverwendung von LIFO zu FIFO sollten weitere Latenz- und Lastprobleme mindern. Envoy und HTTP/2 helfen laut Bericht, Verbindungen effizienter zu teilen und nachgelagerte Systeme zu entlasten.
Habitat begrenzt seine Online-API auf einfache, vorhersehbare NoSQL-Zugriffe. Komplexe Analyse wird über separate Rockset-Instanzen ermöglicht, was zusätzlichen Aufwand bedeutet. Seit 2026 bearbeite Rust laut OpenAI 95 Prozent der Produktionsanfragen und sei gegenüber Python deutlich CPU- und speichereffizienter. Diese Leistungswerte sind Unternehmensangaben; eine unabhängige Überprüfung enthält der Bericht nicht. Die Details zur Datenbankebene sollen in Teil zwei folgen.
Ausführlich lesen
Der Bericht beschreibt, wie OpenAI seine Online-Speicherplattform Habitat für starkes Wachstum ausgebaut hat. OpenAI zufolge verarbeitet Habitat inzwischen mehr als 70 Millionen Anfragen pro Sekunde, unterstützt Produkte mit über einer Milliarde wöchentlich aktiven Nutzern in fast 40 Regionen und verwaltet mehr als 500 Petabyte. Der Beitrag ist der erste Teil einer zweiteiligen Reihe und konzentriert sich auf die Entwicklung der Plattform, ihre Umstellung von einer Python-Bibliothek zu einem Dienst und den späteren Wechsel von Python zu Rust.
Habitat begann 2023 als kleine Python-Bibliothek, die Produktteams den Zugriff auf Azure Cosmos DB erleichtern sollte. Sie übernahm unter anderem Schemaauflösung, Routing, Berechtigungen und Verschlüsselung, damit Produktentwickler Daten speichern und abrufen konnten, ohne die Datenbankdetails selbst verwalten zu müssen. Mit wachsender Zahl an Produkten wurden Änderungen an der Bibliothek jedoch schwer über Dutzende Dienste hinweg auszurollen. OpenAI schildert eine Migration auf regionale Datenbankkonten, deren gestaffelte Einführung samt Tests und Fehlerkorrekturen mehrere Tage dauerte und trotz der Vorbereitung durch einen zurückgerollten Client zu einer Störung führte. Deshalb wurde Habitat als zentraler Dienst ausgeführt, sodass Bereitstellungen, Beobachtbarkeit und Sicherheitsregeln an einer Stelle gesteuert werden können.
Die Entscheidung, zunächst bei Python zu bleiben, nahm laut Bericht höhere Latenz sowie größeren CPU- und Speicherbedarf in Kauf. Vorrang hätten zunächst stabile Plattformgrundlagen und die Entlastung der Produktteams gehabt. Bei der Skalierung erwies sich die Verzögerung des asyncio-Ereignisloops als wichtiger Faktor für hohe Latenzen am Rand der Verteilung: I/O kann parallel warten, CPU-intensive Aufgaben werden in einem Prozess aber nicht gleichzeitig ausgeführt. OpenAI berichtet, deshalb Ereignisloop-Verzögerungen gemessen, die Zahl gleichzeitiger Anfragen pro Prozess begrenzt und stattdessen mehr Python-Prozesse eingesetzt zu haben.
Als konkrete Ursachen und Gegenmaßnahmen nennt der Text regelmäßiges Einlesen großer Feature-Flag-Konfigurationen, das durch kleinere Konfigurationen, längere Aktualisierungsintervalle und zeitliche Streuung entschärft worden sei. Außerdem habe die LIFO-Wiederverwendung von Verbindungen in aiohttp nach Lastspitzen zusätzliche Anfragen auf bereits überlastete Prozesse gelenkt. Eine Umstellung auf FIFO habe diesen Rückkopplungseffekt reduziert; inzwischen nutze OpenAI überwiegend Istio und Envoy für Verbindungspooling und lastbewusstere Verteilung. Envoy helfe auch, durch HTTP/2-Multiplexing die Zahl der Verbindungen zu nachgelagerten Speichern zu verringern und Überlastungen zu begrenzen.
Habitat beschränkt seine Online-Schnittstelle bewusst auf einfache NoSQL-Zugriffe mit vorher definierten Objekten und Kanten. Das soll laut OpenAI unvorhersehbar teure Abfragen und Lastspitzen vermeiden, schränkt aber komplexe Abfragen und Graphdurchläufe ein. Dafür können Teams Änderungsdaten in nahezu Echtzeit zu eigenen Rockset-Instanzen streamen; diese zusätzliche Einrichtung trennt komplexe Analyse- und Suchlast vom Online-Speicher.
Für 2026 berichtet OpenAI von einer mit zwei Ingenieuren sowie Codex und GPT‑5.5 durchgeführten Neuentwicklung des Dienstes in Rust. Rust bearbeite demnach 95 Prozent der Produktionsanfragen; gegenüber Python sei die CPU-Effizienz sechsmal und die Speichereffizienz fünfzehnmal höher, bei geringeren durchschnittlichen und hohen Latenzen. Python solle in den folgenden Wochen abgeschaltet werden. Diese Zahlen und Wirkungsbeschreibungen sind Angaben des Unternehmens; der Bericht liefert dazu keine unabhängige Prüfung. Die Details zur Datenbankebene, einschließlich Cosmos DB, werden ausdrücklich einem künftigen zweiten Teil vorbehalten.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Beide Fassungen von Luna wurden geprüft; die mittlere ist vollständiger und sachlich korrekt. Der Bericht ist ein Infrastrukturbeitrag ohne Bezug zu KI-Sicherheitsfragen im engeren Sinn, deshalb fallen die Einordnungen niedrig aus. Die Leistungsangaben des Unternehmens sind nicht unabhängig geprüft.
Im Bericht, aber nicht in der Zusammenfassung
- 500 Petabyte gespeicherte Daten (in beiden Fassungen nicht genannt)
- konkrete Rust-Werte von 6-facher CPU- und 15-facher Speichereffizienz (die kurze Fassung nennt nur allgemein deutlich effizienter)
- Ursache der Latenzspitzen: periodisches Parsen großer Feature-Flag-Konfigurationen bei Statsig und Blockade der Ereignisschleife (in beiden Fassungen nicht genannt)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 36 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra
Fähigkeiten messen
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 53 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T06 Wenn getrennte Sicherheitsprüfungen Repositorien, Zwischenspeicher oder andere beschreibbare Dienste teilen: Wie zeigt man, dass Modellinstanzen zwischen den Läufen keine Informationen austauschen und dadurch das gemeldete Ergebnis ungültig machen können?
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 57 %Hintergrund, keine Belege
- JEV 34 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 73 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 40 %einzelne zitierbare Belege
- JEV 51 %einzelne zitierbare Belege
- amos 31 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 30 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 73 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 30 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 49 %nur am Rande erwähnt
- JEV 48 %nur am Rande erwähnt
- amos 29 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 55 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 49 %umfangreiche Belege
- JEV 40 %umfangreiche Belege
- amos 28 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
- SF-A3-T01 Welche Beobachtungen oder gemeinsamen Tests erkennen entstehende Abstimmung, Absprachen oder Kettenfehler zwischen Modellen in Arbeitsabläufen, Lieferketten und Gruppen vieler Agenten (Schwärmen), die kein einzelnes Labor steuert oder vorhersieht?
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv