Scaling Kubernetes to 7,500 nodes
Zusammenfassung
Kurz
OpenAI beschreibt den Betrieb von Kubernetes-Clustern mit bis zu 7.500 Knoten für groß angelegte ML-Jobs und Forschungsarbeit. Der Bericht nennt Maßnahmen für Netzwerk, API-Server, Überwachung, Knotenprüfung und gemeinsame Jobplanung, weist aber auch auf offene Probleme bei Prometheus und der Begrenzung des Pod-Internetverkehrs hin; die Erfahrungen beziehen sich auf eine besondere, nicht allgemein repräsentative Arbeitslast.
Mittel
Der Bericht schildert OpenAIs Erfahrungen beim Ausbau von Kubernetes-Clustern auf 7.500 Knoten. Die Infrastruktur soll große, über viele Knoten verteilte ML-Jobs und schnelle Forschungsiterationen unterstützen. Da viele Jobs ganze Knoten belegen und MPI verwenden, sei die übliche Schedulerlast eher gering, könne beim gleichzeitigen Start vieler Pods aber stark ansteigen. Die Autoren weisen darauf hin, dass ihre Arbeitslast von typischen Unternehmensumgebungen abweicht und die Lösungen daher nicht überall passen müssen.
OpenAI wechselte laut Bericht bei der Vernetzung zu nativen Pod-Netzwerkfunktionen, überwacht Netzwerkverkehr mit iptables und Prometheus und trennt Cluster in einem Hub-and-Spoke-Modell. API-Server und etcd laufen auf dedizierten Knoten. EndpointSlices senkten demnach die Last von Endpoints-WATCHes; eine gestaffelte Aufnahme neuer Knoten half gegen Überlastung. Ein Prometheus-Patch mit Timeout beseitigte laut Autoren speicherintensive Abfragen, und `GOMAXPROCS=24` beschleunigte die WAL-Wiederherstellung.
Knoten werden passiv überwacht und zusätzlich mit GPU-Tests geprüft. Team-Taints, niedrig priorisierte Kapazitäts-Pods und das Coscheduling-Plugin sollen Ressourcenvergabe und gemeinsames Starten großer Jobs unterstützen. Offen bleiben Probleme mit Prometheus-Speicherung, Wiederherstellung und Abfragen sowie die Steuerung des wachsenden Internetverkehrs. Die Erkenntnisse beruhen auf OpenAIs konkretem Clusterbetrieb.
Ausführlich lesen
Der Bericht beschreibt, wie OpenAI Kubernetes-Cluster auf bis zu 7.500 Knoten erweitert hat, um sowohl große Trainingsläufe für Modelle wie GPT‑3, CLIP und DALL·E als auch schnelle Forschungsiterationen zu unterstützen. Die Autoren stellen die geschilderten Erfahrungen als Hinweise für die Kubernetes-Community dar und betonen, dass ihre Lösungen wegen der besonderen Arbeitslast nicht für jedes Unternehmen passen müssen.
Die Umgebung ist auf verteilte maschinelle Lernaufgaben ausgerichtet: Ein Job kann viele Knoten umfassen und belegt häufig einen ganzen Knoten, damit GPUs und Netzwerkhardware direkt kommunizieren können. Dadurch seien Ressourcenfragmentierung und Schedulerbelastung meist gering; kurzfristig könne die Erstellung vieler Pods den Scheduler jedoch stark beanspruchen. Die größten MPI-Jobs seien halb zustandsbehaftet: Fällt ein Pod aus, müsse der ganze Job neu starten, könne aber von einem Checkpoint fortgesetzt werden. Die Teams verwendeten vorwiegend Blob-Speicher und kommunizierten direkt über Pod-IP-Adressen.
Im Netzwerk ersetzte OpenAI laut Bericht Flannel durch native Pod-Netzwerkfunktionen und CNI-Plugins, um mehr Durchsatz zu erreichen und mit einer möglichen Größenordnung von etwa 200.000 IP-Adressen umzugehen. Die Autoren berichten, dass routenbasierte Vernetzung bei ihren Tests an Grenzen stieß. Sie beschreiben außerdem Paketmarkierungen mit iptables und einen Prometheus-Exporter zur Messung des Netzwerkverkehrs. Ein Hub-and-Spoke-Modell soll die Cluster voneinander isolieren.
API-Server und etcd laufen auf eigenen Knoten. Für die größten Cluster nennt der Bericht jeweils fünf API-Server und fünf etcd-Knoten. EndpointSlices hätten die Last durch Endpoints-WATCHes deutlich reduziert; eine gestaffelte Aufnahme neuer Knoten habe Überlastungen der API-Server vermieden. Prometheus-Metriken und Grafana-Dashboards dienten der Überwachung. Um Abstürze durch eine unbeschränkte Prometheus-Abfrage zu beheben, habe OpenAI einen Timeout-Patch eingesetzt. Eine Begrenzung auf 24 parallele Go-Prozesse habe zudem die Wiederherstellung aus WAL-Dateien beschleunigt.
Zur Knotenpflege nennt der Bericht laufende Prüfungen etwa für Datenträger, Netzwerk, GPUs und Cloud-Wartung. Fehlerhafte Knoten würden gesperrt und je nach Schwere Pods verdrängt; GPU-Tests liefen beim Start und zusätzlich regelmäßig. Teambezogene Knotentaints und niedrig priorisierte „Balloon“-Pods sollten Kapazitäten zuweisen beziehungsweise vorhalten, ohne echte Arbeitslasten zu blockieren. Für Jobs, die gemeinsam starten müssen, wird das Coscheduling-Plugin als Lösung gegen gegenseitiges Blockieren beschrieben.
Als offene Probleme nennt der Bericht die langsame Kompaktierung und WAL-Wiederherstellung der Prometheus-Zeitreihendatenbank sowie Abfragefehler. OpenAI arbeite an einem kompatiblen Ersatz für Speicherung und Abfragen. Außerdem müsse der Internetverkehr der Pods besser gesteuert werden, weil sich die aggregierte Bandbreitennutzung und die Belastung externer Downloadquellen erhöht hätten. Die Schlussfolgerung der Autoren lautet, Kubernetes sei für ihre Forschung flexibel und weit skalierbar, müsse aber weiter verbessert werden. Die beschriebenen Erfahrungen und Messwerte gelten für ihre konkrete Infrastruktur; ein allgemeiner Eignungsnachweis für andere Arbeitslasten wird nicht beansprucht.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Bewertung stützt sich allein auf den Blogbeitrag zu Kubernetes-Infrastruktur; Fragen zu KI-Sicherheit, Prüfungen und Schwellen werden nur am Rande berührt, weshalb die Stufen niedrig ausfallen.
Im Bericht, aber nicht in der Zusammenfassung
- Die Entlastung der Endpoints-WATCHes durch EndpointSlices um etwa den Faktor 1000 fehlt in der Kurzfassung
- Der Verzicht auf Overlay-Netzwerk (Encapsulation) und die Größenordnung von rund 200.000 IP-Adressen fehlen
- Balloon-Deployments als Mittel gegen Leerlauf-Skalierung durch den Cluster-Autoscaler fehlen
- Die Auslagerung von Kubernetes-Events in einen eigenen etcd-Cluster fehlt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 49 %einzelne zitierbare Belege
- JEV 33 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 23 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät?
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 44 %einzelne zitierbare Belege
- JEV 44 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %Hintergrund, keine Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 56 %einzelne zitierbare Belege
- JEV 42 %einzelne zitierbare Belege
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Alle Berichte im Archiv