Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai25. Januar 2021 · Q008178

Scaling Kubernetes to 7,500 nodes

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI beschreibt den Betrieb von Kubernetes-Clustern mit bis zu 7.500 Knoten für groß angelegte ML-Jobs und Forschungsarbeit. Der Bericht nennt Maßnahmen für Netzwerk, API-Server, Überwachung, Knotenprüfung und gemeinsame Jobplanung, weist aber auch auf offene Probleme bei Prometheus und der Begrenzung des Pod-Internetverkehrs hin; die Erfahrungen beziehen sich auf eine besondere, nicht allgemein repräsentative Arbeitslast.

Mittel

Der Bericht schildert OpenAIs Erfahrungen beim Ausbau von Kubernetes-Clustern auf 7.500 Knoten. Die Infrastruktur soll große, über viele Knoten verteilte ML-Jobs und schnelle Forschungsiterationen unterstützen. Da viele Jobs ganze Knoten belegen und MPI verwenden, sei die übliche Schedulerlast eher gering, könne beim gleichzeitigen Start vieler Pods aber stark ansteigen. Die Autoren weisen darauf hin, dass ihre Arbeitslast von typischen Unternehmensumgebungen abweicht und die Lösungen daher nicht überall passen müssen.

OpenAI wechselte laut Bericht bei der Vernetzung zu nativen Pod-Netzwerkfunktionen, überwacht Netzwerkverkehr mit iptables und Prometheus und trennt Cluster in einem Hub-and-Spoke-Modell. API-Server und etcd laufen auf dedizierten Knoten. EndpointSlices senkten demnach die Last von Endpoints-WATCHes; eine gestaffelte Aufnahme neuer Knoten half gegen Überlastung. Ein Prometheus-Patch mit Timeout beseitigte laut Autoren speicherintensive Abfragen, und `GOMAXPROCS=24` beschleunigte die WAL-Wiederherstellung.

Knoten werden passiv überwacht und zusätzlich mit GPU-Tests geprüft. Team-Taints, niedrig priorisierte Kapazitäts-Pods und das Coscheduling-Plugin sollen Ressourcenvergabe und gemeinsames Starten großer Jobs unterstützen. Offen bleiben Probleme mit Prometheus-Speicherung, Wiederherstellung und Abfragen sowie die Steuerung des wachsenden Internetverkehrs. Die Erkenntnisse beruhen auf OpenAIs konkretem Clusterbetrieb.

Ausführlich lesen

Der Bericht beschreibt, wie OpenAI Kubernetes-Cluster auf bis zu 7.500 Knoten erweitert hat, um sowohl große Trainingsläufe für Modelle wie GPT‑3, CLIP und DALL·E als auch schnelle Forschungsiterationen zu unterstützen. Die Autoren stellen die geschilderten Erfahrungen als Hinweise für die Kubernetes-Community dar und betonen, dass ihre Lösungen wegen der besonderen Arbeitslast nicht für jedes Unternehmen passen müssen.

Die Umgebung ist auf verteilte maschinelle Lernaufgaben ausgerichtet: Ein Job kann viele Knoten umfassen und belegt häufig einen ganzen Knoten, damit GPUs und Netzwerkhardware direkt kommunizieren können. Dadurch seien Ressourcenfragmentierung und Schedulerbelastung meist gering; kurzfristig könne die Erstellung vieler Pods den Scheduler jedoch stark beanspruchen. Die größten MPI-Jobs seien halb zustandsbehaftet: Fällt ein Pod aus, müsse der ganze Job neu starten, könne aber von einem Checkpoint fortgesetzt werden. Die Teams verwendeten vorwiegend Blob-Speicher und kommunizierten direkt über Pod-IP-Adressen.

Im Netzwerk ersetzte OpenAI laut Bericht Flannel durch native Pod-Netzwerkfunktionen und CNI-Plugins, um mehr Durchsatz zu erreichen und mit einer möglichen Größenordnung von etwa 200.000 IP-Adressen umzugehen. Die Autoren berichten, dass routenbasierte Vernetzung bei ihren Tests an Grenzen stieß. Sie beschreiben außerdem Paketmarkierungen mit iptables und einen Prometheus-Exporter zur Messung des Netzwerkverkehrs. Ein Hub-and-Spoke-Modell soll die Cluster voneinander isolieren.

API-Server und etcd laufen auf eigenen Knoten. Für die größten Cluster nennt der Bericht jeweils fünf API-Server und fünf etcd-Knoten. EndpointSlices hätten die Last durch Endpoints-WATCHes deutlich reduziert; eine gestaffelte Aufnahme neuer Knoten habe Überlastungen der API-Server vermieden. Prometheus-Metriken und Grafana-Dashboards dienten der Überwachung. Um Abstürze durch eine unbeschränkte Prometheus-Abfrage zu beheben, habe OpenAI einen Timeout-Patch eingesetzt. Eine Begrenzung auf 24 parallele Go-Prozesse habe zudem die Wiederherstellung aus WAL-Dateien beschleunigt.

Zur Knotenpflege nennt der Bericht laufende Prüfungen etwa für Datenträger, Netzwerk, GPUs und Cloud-Wartung. Fehlerhafte Knoten würden gesperrt und je nach Schwere Pods verdrängt; GPU-Tests liefen beim Start und zusätzlich regelmäßig. Teambezogene Knotentaints und niedrig priorisierte „Balloon“-Pods sollten Kapazitäten zuweisen beziehungsweise vorhalten, ohne echte Arbeitslasten zu blockieren. Für Jobs, die gemeinsam starten müssen, wird das Coscheduling-Plugin als Lösung gegen gegenseitiges Blockieren beschrieben.

Als offene Probleme nennt der Bericht die langsame Kompaktierung und WAL-Wiederherstellung der Prometheus-Zeitreihendatenbank sowie Abfragefehler. OpenAI arbeite an einem kompatiblen Ersatz für Speicherung und Abfragen. Außerdem müsse der Internetverkehr der Pods besser gesteuert werden, weil sich die aggregierte Bandbreitennutzung und die Belastung externer Downloadquellen erhöht hätten. Die Schlussfolgerung der Autoren lautet, Kubernetes sei für ihre Forschung flexibel und weit skalierbar, müsse aber weiter verbessert werden. Die beschriebenen Erfahrungen und Messwerte gelten für ihre konkrete Infrastruktur; ein allgemeiner Eignungsnachweis für andere Arbeitslasten wird nicht beansprucht.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Bewertung stützt sich allein auf den Blogbeitrag zu Kubernetes-Infrastruktur; Fragen zu KI-Sicherheit, Prüfungen und Schwellen werden nur am Rande berührt, weshalb die Stufen niedrig ausfallen.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Entlastung der Endpoints-WATCHes durch EndpointSlices um etwa den Faktor 1000 fehlt in der Kurzfassung
  • Der Verzicht auf Overlay-Netzwerk (Encapsulation) und die Größenordnung von rund 200.000 IP-Adressen fehlen
  • Balloon-Deployments als Mittel gegen Leerlauf-Skalierung durch den Cluster-Autoscaler fehlen
  • Die Auslagerung von Kubernetes-Events in einen eigenen etcd-Cluster fehlt

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 49 %einzelne zitierbare Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 0 · kein Bezug
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 35 %gleiches Oberthema, hilft nicht
    • amos 23 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

    • SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät? Luna: Stufe 3 · 47 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 44 %einzelne zitierbare Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %Hintergrund, keine Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Agenten und vernetzte Systeme
  1. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 56 %einzelne zitierbare Belege
    • JEV 42 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege
Offenlegung und Rechenschaft

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →