Scaling PostgreSQL to power 800 million ChatGPT users
Zusammenfassung
Kurz
OpenAI berichtet, PostgreSQL mit einer einzelnen primären Azure-Instanz und fast 50 Lesereplikaten auf Millionen Abfragen pro Sekunde für überwiegend lesende Arbeitslasten skaliert zu haben. Dafür senke das Unternehmen Schreiblast und Abfragekosten und setze unter anderem Verbindungspooling, Cache-Sperren, Ratenbegrenzungen und Hochverfügbarkeit ein. Weitere Migrationen laufen; kaskadierende Replikation ist noch in der Testphase, und die Leistungsangaben stammen aus dem Beitrag selbst.
Mittel
Der Beitrag schildert OpenAIs Ansatz, PostgreSQL für stark wachsende, überwiegend lesende Arbeitslasten zu skalieren. Nach Angaben des Unternehmens bewältigt eine einzelne primäre Azure-Instanz mit fast 50 regional verteilten Lesereplikaten Millionen Abfragen pro Sekunde für 800 Millionen Nutzer. Im vergangenen Jahr sei die Datenbanklast um mehr als das Zehnfache gestiegen.
Die Architektur mit einem einzigen Schreiber geriet bei Cache-Ausfällen, teuren Abfragen und Schreibspitzen wiederholt unter Druck. OpenAI verlagert deshalb partitionierbare, schreibintensive Arbeitslasten zu Systemen wie Cosmos DB, optimiert Abfragen und reduziert Schreibvorgänge. Weitere Maßnahmen umfassen Verbindungspooling mit PgBouncer, Cache-Sperren gegen gleichzeitige Fehlzugriffe, getrennte Instanzen für unterschiedlich priorisierte Arbeitslasten, Ratenbegrenzungen und einen Bereitschaftsserver für Ausfälle.
Der Beitrag nennt nahezu null Replikationsverzug, niedrige zweistellige Millisekundenwerte für p99-Latenz und fünf Neunen Verfügbarkeit. In zwölf Monaten habe es einen PostgreSQL-SEV-0 gegeben, ausgelöst durch eine Schreibspitze beim ImageGen-Start. Grenzen bleiben: Migrationen laufen weiter, und kaskadierende Replikation wird noch getestet. Die dargestellten Leistungswerte sind OpenAIs eigene Angaben; der Beitrag belegt keine allgemeine Übertragbarkeit auf andere Installationen.
Ausführlich lesen
Der Beitrag beschreibt, wie OpenAI nach eigenen Angaben PostgreSQL für stark wachsende, überwiegend lesende Arbeitslasten einsetzt. Das Datenbanksystem unterstütze zentrale Produkte wie ChatGPT und die API. Die Last sei im vergangenen Jahr um mehr als das Zehnfache gestiegen. Laut Beitrag bewältige eine einzelne primäre Azure-PostgreSQL-Instanz zusammen mit fast 50 geografisch verteilten Lesereplikaten Millionen Abfragen pro Sekunde für 800 Millionen Nutzer.
Die Architektur blieb ungeschichtet und nutzt einen einzelnen Schreiber. Das habe zwar weiteres Wachstum ermöglicht, sei aber wiederholt durch Überlastung gefährdet gewesen: etwa bei Cache-Ausfällen, teuren Abfragen oder Schreibspitzen. Steigende Auslastung erhöhe die Latenz und löse Zeitüberschreitungen aus; Wiederholungsversuche könnten die Last weiter verstärken. Als weitere Herausforderung nennt der Beitrag PostgreSQLs MVCC-Verfahren: Änderungen erzeugten neue Zeilenversionen, was bei vielen Schreibvorgängen Schreib- und Leseaufwand sowie Tabellen- und Indexwachstum verursachen könne.
OpenAI verlagere deshalb partitionierbare, schreibintensive Arbeitslasten auf geschichtete Systeme wie Azure Cosmos DB und reduziere unnötige Schreibvorgänge. Neue Tabellen würden der Darstellung zufolge nicht mehr in der bestehenden PostgreSQL-Installation angelegt. Die Umstellung schwieriger zu partitionierender Arbeitslasten laufe noch; eine Aufteilung des bestehenden PostgreSQL-Systems sei wegen des Aufwands an zahlreichen Anwendungsschnittstellen vorerst keine Priorität.
Zur Entlastung und Absicherung beschreibt der Beitrag mehrere Maßnahmen: Lesezugriffe würden möglichst auf Replikate verteilt, während Abfragen auf dem Primärsystem optimiert und Schreibspitzen durch verzögerte oder gedrosselte Vorgänge abgefedert würden. Teure SQL-Abfragen, insbesondere komplexe Joins und von ORM-Systemen erzeugte Abfragen, sollten geprüft und vereinfacht werden. Hoch- und niedrig priorisierte Arbeitslasten liefen auf getrennten Instanzen. PgBouncer bündele Verbindungen; laut eigenen Benchmarks sei die durchschnittliche Verbindungszeit dadurch von 50 auf 5 Millisekunden gesunken. Beim Cache verhindere ein Sperr- beziehungsweise Leasingmechanismus, dass viele gleichzeitige Cache-Fehler dieselben Daten aus der Datenbank abrufen. Mehrstufige Ratenbegrenzungen und Lastabwurf sollten Spitzen und Wiederholungsstürme eindämmen.
Für Ausfälle nennt OpenAI einen synchronisierten Bereitschaftsserver, der bei Bedarf übernehmen könne, sowie mehrere Replikate pro Region. Der Beitrag berichtet von nahezu null Replikationsverzug, niedrigen zweistelligen Millisekundenwerten bei der clientseitigen p99-Latenz und fünf Neunen Verfügbarkeit. In den vorangegangenen zwölf Monaten habe es einen PostgreSQL-SEV-0 gegeben: Während des viralen ImageGen-Starts sei der Schreibverkehr sprunghaft gestiegen, als binnen einer Woche mehr als 100 Millionen neue Nutzer hinzukamen.
Die Skalierung hat Grenzen: Der Primärserver muss weiterhin WAL-Daten an jedes Replikat senden. Eine kaskadierende Replikation könnte laut Beitrag mehr als hundert Replikate ermöglichen, wird aber noch getestet und ist wegen zusätzlicher Anforderungen an den Failover noch nicht produktiv. Auch die Migration verbleibender schreibintensiver Arbeitslasten läuft. Der Artikel schildert OpenAIs eigene Erfahrungen und Leistungsangaben; unabhängige Vergleichsdaten oder eine allgemeine Garantie für andere PostgreSQL-Installationen liefert er nicht.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna lieferte zwei Zusammenfassungen (kurz und mittel); bewertet wurde die Fassung als Ganzes, die mittlere ist vollständiger und die kurze ist im Wesentlichen treu. Der Bericht ist ein technischer Blogbeitrag zur PostgreSQL-Skalierung und beantwortet die KI-Sicherheitsfragen daher nur am Rande.
Im Bericht, aber nicht in der Zusammenfassung
- Wiederholungsversuche (Retries) verstärken Lastspitzen zu einem Teufelskreis, der ChatGPT und API gefährden kann
- Beschränkungen für Schemaänderungen: 5-Sekunden-Timeout, keine Tabellenumschreibungen, neue Tabellen nur in verteilten Systemen
- Die kurze Fassung nennt weder die 800 Millionen Nutzer noch den mehr als zehnfachen Lastanstieg im letzten Jahr
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, der Beitrag belege keine allgemeine Übertragbarkeit auf andere Installationen, steht so nicht im Bericht und ist eine Deutung von Luna
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 65 %einzelne zitierbare Belege
- JEV 39 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 70 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 72 %einzelne zitierbare Belege
- JEV 37 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
Weitere Berichte zu diesen Fragen
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Alle Berichte im Archiv