Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II)
Zusammenfassung
Kurz
OpenAI beschreibt, wie Habitat durch gemeinsam genutzte Cosmos-DB-Container mit zusätzlichen Schutzmechanismen, engere Zusammenarbeit mit Azure und globale Caches skaliert wurde. Laut Bericht sank die p50-Latenz für Lesezugriffe von etwa 120 auf etwa 10 Millisekunden; Replikation und niedrige Latenz bleiben durch verfügbare Kapazität begrenzt, und ein neues Speichersystem ist noch in Entwicklung.
Mittel
Der Bericht erläutert, wie OpenAI Habitat für weltweite Nutzung und starkes Wachstum skaliert. Die Plattform nutzt Azure Cosmos DB. Ein zunächst gemeinsamer Container verursachte laut OpenAI Engpässe durch konkurrierende Partitionsschlüssel, stark belastete Nutzer und sinkende Leistung je Partition. Getrennte Container begrenzten zwar den Wirkungsbereich von Störungen, machten aber die Kapazitätsplanung für Produktteams aufwendig und fehleranfällig. Deshalb kehrte OpenAI mit Azure zu gemeinsam genutzten Containern als Standard zurück und ergänzte Drosselung heißer Schlüssel, Priorisierung interaktiver Anfragen und ein verbessertes serverloses Modell. OpenAI berichtet, seitdem keine Bereitstellungs- oder Noisy-Neighbor-Vorfälle gehabt zu haben.
Nach regionalen Ausfällen vertieften OpenAI und Azure außerdem ihre gemeinsame Überwachung, Tests und Fehlerbehebung. Für schnellere globale Lesezugriffe setzt Habitat auf regionale Replikation ausgewählter Daten, verteilte Caches mit CDC-Invalidierung und Rust. Laut OpenAI sank die p50-Latenz von etwa 120 auf etwa 10 Millisekunden. Die Wirkung bleibt durch regionale Kapazität begrenzt; breite Replikation ist nur für ausgewählte Daten möglich, und nicht gecachte Zugriffe können langsam bleiben. Ein eigenes Speichersystem im Exabyte-Maßstab befindet sich noch in Entwicklung.
Ausführlich lesen
Der Bericht beschreibt, wie OpenAI Habitat, seine Online-Speicherplattform, für starkes Wachstum und weltweite Nutzung weiterentwickelt hat. Laut OpenAI verarbeitet Habitat mehr als 500 Petabyte Daten; die Plattform soll Daten für Produkte schnell und zuverlässig bereitstellen. Teil II konzentriert sich auf Azure Cosmos DB als Speichergrundlage und schildert einen Wechsel von gemeinsam genutzten zu getrennten und später wieder standardmäßig gemeinsam genutzten Containern.
Zunächst setzte Habitat auf einen gemeinsamen Container und auf die eingebauten Grenzwerte von Cosmos DB. Das führte laut Bericht zu mehreren Engpässen: Verschiedene Anwendungen teilten sich dieselben logischen Partitionsschlüssel, besonders stark belastete Schlüssel konnten andere Nutzungen beeinträchtigen, und mehrere logische Partitionen mussten sich die Kapazität einer physischen Partition teilen. Zudem konnten Datenwachstum und dadurch ausgelöste Partitionsaufteilungen die verfügbare Leistung pro Partition verringern, selbst wenn die Nachfrage gleich blieb.
Für wichtige neue Anwendungen führte OpenAI daraufhin getrennte Container ein. Das begrenzte Störungen auf einzelne Funktionen und half, Ausfälle mit größerer Reichweite zu vermeiden. Zugleich ging der gemeinsame Kapazitätsausgleich verloren: Teams mussten ihre Container vor Produkteinführungen selbst passend dimensionieren. Weil der tatsächliche Bedarf schwer vorherzusagen war und die Kapazitätsplanung nicht bei allen Teams gleich zuverlässig gelang, wuchs der Betriebsaufwand. Die Lösung skalierte nach Darstellung des Berichts organisatorisch nicht gut.
Gemeinsam mit dem Azure-Team kehrte OpenAI deshalb zu gemeinsam genutzten Containern als Standard zurück und ergänzte Schutzmechanismen. Besonders heiße Schlüssel werden zuerst gedrosselt; Hintergrundarbeiten erhalten eine niedrigere Dienstgüte und werden vor interaktiven Anfragen eingeschränkt. Ein verbessertes serverloses Modell kann Partitionen sowohl anhand des Speicherbedarfs als auch der RU-Nutzung aufteilen und soll bis zu 10.000 RU/s je physischer Partition ermöglichen. OpenAI berichtet, dass es in den Monaten danach keine Vorfälle durch Bereitstellung oder gegenseitige Beeinträchtigung von Workloads gegeben habe.
Der Artikel betont außerdem, dass verwaltete Cloud-Dienste bei sehr großem Einsatz enge Zusammenarbeit mit dem Anbieter erfordern. Nach regionalen Ausfällen und Problemen beim Zurückschalten von Konten arbeiteten OpenAI und Azure unter anderem an Tests, Überwachung, Gateway-Schutz, Verbindungspooling und der Trennung kritischer von Hintergrundlasten. OpenAI gibt an, sein größtes Cosmos-DB-Konto speichere mehrere zehn Petabyte und bediene mehr als 20 Millionen Anfragen pro Sekunde.
Für globale Leseleistung kombiniert Habitat regionale Datenhaltung, gezielte Replikation besonders wichtiger kleiner Datensätze, verteilte Valkey-Caches mit Invalidierung über Change Data Capture (CDC) sowie eine teilweise Neufassung des Dienstes in Rust. Laut Bericht sank die globale p50-Latenz für Lesezugriffe dadurch von etwa 120 auf etwa 10 Millisekunden. Die Maßnahmen sind durch Kapazität und Datenstandorte begrenzt; breite Replikation ist nur für ausgewählte Datensätze möglich, und langsame Zugriffe auf nicht zwischengespeicherte Daten bleiben bestehen. CDC versorgt außerdem nachgelagerte Systeme, wobei die Plattform Ausfälle, regionale Störungen und fehlgeschlagene Zustellungen abfedern soll. Für weiteres Wachstum entwickelt OpenAI ein eigenes Online-Speichersystem im Exabyte-Maßstab. Es ist noch in Entwicklung und tauscht laut Bericht geringere Spitzenabfrageleistung gegen einen effizienteren Flash-Speicherbedarf.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Geprüft wurde die mittlere Zusammenfassung, die im Bericht treu bleibt. Die kurze Zusammenfassung ist ebenfalls inhaltlich treu, nennt aber nur Latenz, Multi-Tenancy-Rückkehr und Replikation und lässt die CDC-Plattform und die Ausfälle aus.
Im Bericht, aber nicht in der Zusammenfassung
- Die CDC-Plattform mit Kafka und Dead-Letter-Queues
- Skalenangaben wie über 500 Petabyte Daten und mehr als 20 Mio. QPS bei dem größten Konto
- Die Ausfälle Ende 2024 und Anfang 2025 als Anlass für die engere Zusammenarbeit mit Azure
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M5 Was muss vor und nach einem Vorfall geschehen, damit Verantwortliche einstehen, man daraus lernt, Beweise bleiben und Betroffene auch über Grenzen hinweg zu ihrem Recht kommen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %nur am Rande erwähnt
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 70 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 30 %Hintergrund, keine Belege
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 50 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 68 %einzelne zitierbare Belege
- JEV 42 %beantwortet teilweise oder widerspricht
- amos 24 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
- SF-A3-T01 Welche Beobachtungen oder gemeinsamen Tests erkennen entstehende Abstimmung, Absprachen oder Kettenfehler zwischen Modellen in Arbeitsabläufen, Lieferketten und Gruppen vieler Agenten (Schwärmen), die kein einzelnes Labor steuert oder vorhersieht?
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Alle Berichte im Archiv