Scaling Kubernetes to 2,500 nodes
Zusammenfassung
Kurz
OpenAI berichtet, Kubernetes 2018 auf mehr als 2.500 Azure-Knoten skaliert und dabei Engpässe bei etcd, API-Abfragen, DNS, Docker-Abrufen, Netzwerk und ARP-Caches durch gezielte Konfigurationsänderungen behoben zu haben. Das Unternehmen meldete anschließend rund drei Monate ohne Zwischenfälle; die Wirksamkeit der Maßnahmen wird im Text als eigene Erfahrung beschrieben, nicht unabhängig belegt.
Mittel
OpenAI beschreibt, wie das Unternehmen 2018 Kubernetes für Deep-Learning-Experimente auf mehr als 2.500 Azure-Knoten skalierte. Mit wachsender Größe traten laut Bericht Probleme bei etcd, API-Servern, KubeDNS, Docker-Images, Netzwerk und ARP-Caches auf.
Bei etcd führten hohe Schreiblatenzen netzgebundener SSDs zu Zeitüberschreitungen; lokale SSDs senkten die Latenz deutlich. Später verursachten häufige Abfragen von Monitoring-Prozessen eine hohe API-Server-Last. Weniger häufiges Polling, ein separates etcd für Events und ein höheres Speicherlimit sollten weitere Ausfälle verhindern. Eine Schutzprüfung sollte zudem vermeiden, dass der Autoscaler bei einer Störung mehr als die Hälfte der Worker beendet. Eine geänderte Scheduler-Strategie konzentrierte Last auf genutzte Knoten, führte aber zu KubeDNS-Hotspots; Anti-Affinität verteilte die DNS-Pods. Parallelisierte und vorab geladene Docker-Images sollten lange oder scheiternde Abrufe reduzieren. Für schwächere Flannel-Leistung und überlaufende ARP-Caches nennt der Bericht eigene Konfigurationsanpassungen.
OpenAI berichtet von drei Monaten ohne Zwischenfälle. Die Darstellung ist ein Unternehmensbericht über eine konkrete Azure-Umgebung aus dem Jahr 2018; unabhängige Überprüfungen oder systematische Vergleichsdaten werden nicht vorgelegt.
Ausführlich lesen
Der Bericht schildert, wie OpenAI nach eigener Darstellung Kubernetes-Cluster für Deep-Learning-Forschung auf mehr als 2.500 Knoten skalierte. Der größte Cluster lief 2018 in Azure auf D15v2- und NC24-VMs. Kubernetes habe schnelle Experimente und ausreichende Skalierbarkeit ermöglicht; beim Wachstum seien jedoch Probleme mit etcd, den Steuerungskomponenten, dem Abruf von Docker-Images, dem Netzwerk, KubeDNS und ARP-Caches aufgetreten. Die beschriebenen Befunde und Lösungen beruhen auf den Erfahrungen des Unternehmens und gelten für die geschilderte Infrastruktur.
Ab etwa 500 Knoten beobachteten Forschende Zeitüberschreitungen bei kubectl. Zusätzliche API-Server halfen zunächst, doch Messungen zeigten hohe Schreiblatenzen bei etcd auf netzgebundenen SSDs. fio-Tests deuteten laut Bericht darauf hin, dass etcd wegen seiner sequenziellen Schreibvorgänge durch die Latenz begrenzt war und nur rund zehn Prozent der verfügbaren IOPS nutzte. Nach dem Umzug der etcd-Daten auf lokale SSDs sank die Schreiblatenz von Millisekunden auf etwa 200 Mikrosekunden. Jenseits von 1.000 Knoten stieg die Belastung erneut: API-Server lasen mehr als 500 MB/s aus etcd. Prometheus-Monitoring und ausführlichere API-Server-Protokolle machten langsame Abfragen und häufige LIST-Aufrufe für Events sichtbar. Als Ursache nennt OpenAI zu häufige Abfragen durch Fluentd- und Datadog-Prozesse auf jedem Knoten. Weniger aggressives Abfragen stabilisierte die Last. Zusätzlich wurden Kubernetes-Events in einem separaten etcd-Cluster gespeichert. Eine weitere Störung entstand, als etcd sein standardmäßiges Speicherlimit von 2 GB erreichte und Schreibvorgänge stoppte. Die daraus folgende Kaskade veranlasste den Autoscaler, beinahe alle Worker zu beenden. OpenAI erhöhte das Speicherlimit und ergänzte eine Schutzprüfung, die Aktionen mit dem Risiko, mehr als die Hälfte des Clusters zu beenden, verhindert.
Die Steuerungskomponenten liefen gemeinsam auf mindestens zwei Mastern. Da der Cluster vorwiegend Stapelverarbeitung ausführte, änderte OpenAI die Scheduler-Prioritäten so, dass Workloads stärker auf bereits genutzte Knoten konzentriert wurden. Das sollte freie Knoten leichter abschaltbar machen und große Pods schneller platzieren. Die neue Verteilung führte jedoch dazu, dass sich mehrere KubeDNS-Kopien auf einzelnen Rechnern ballten und Azure-Grenzen für externe DNS-Abfragen überschritten wurden. Eine Anti-Affinitätsregel verteilte KubeDNS-Pods anschließend auf verschiedene Hosts.
Bei Docker-Abrufen blockierte ein rund 17 GB großes Dota-Image zunächst andere Images, weil kubelet Abrufe standardmäßig nacheinander ausführte. Parallelisierte Abrufe, Docker mit overlay2 und lokale SSDs sollten das verbessern. Gegen abgebrochene langsame Abrufe erhöhte OpenAI das Zeitlimit für Fortschrittsmeldungen und setzte mehr parallele Downloads. Da ein fehlgeschlagener Abruf des Google-Container-Registry-Infrastrukturimages neue Containerstarts verhindern konnte und NAT-bedingte Quotenprobleme vermutet wurden, lud das Unternehmen dieses sowie häufig genutzte interne Images vorab in die Maschinenabbilder.
Im Azure-Netzwerk erreichten Pods mit Flannel laut Bericht nur etwa 2 Gbit/s gegenüber 10–15 Gbit/s zwischen Maschinen. Als Umgehung nennt OpenAI hostNetwork und eine passende DNS-Richtlinie, weist aber auf die Kubernetes-Dokumentationshinweise dazu hin. Sporadische DNS- und Verbindungsverzögerungen führte das Team außerdem auf einen überlaufenden ARP-Cache zurück und erhöhte dessen Kernel-Grenzwerte.
Als Ergebnis berichtet OpenAI von rund drei Monaten ohne Zwischenfälle und Plänen für größere Cluster. Der Bericht ist eine technische Erfahrungsdarstellung aus dem Jahr 2018, keine kontrollierte Vergleichsstudie: Er liefert keine umfassenden Messreihen oder unabhängigen Prüfungen der Maßnahmen. Die Aussagen zur Stabilität und Wirksamkeit sind daher als Angaben des Unternehmens zu verstehen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Bewertung stützt sich nur auf den Berichtstext; Archiv-Metadaten wie Hashes und Werkzeuge wurden nicht ausgewertet. Die Einordnung der Teilfragen folgt dem Inhalt, nicht der Stufe von Luna.
Im Bericht, aber nicht in der Zusammenfassung
- Kubectl-Timeouts ab rund 500 Knoten und der GKE-Vergleich (eine 32-Kern-VM für 500 Knoten)
- Flannel erreicht in Pods nur etwa 2 Gbit/s, direkt zwischen Maschinen 10–15 Gbit/s
- Das Dota-Image mit etwa 17 GB brauchte rund 30 Minuten zum Pullen, und --serialize-image-pulls blockierte andere Images
- Upgrade auf Version 1.8.4 mit offizieller Unterstützung für 5.000 Knoten
- Die Machine-Zone-Benchmarks stützen die Netzwerkwerte als externe Bestätigung
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 52 %einzelne zitierbare Belege
- JEV 27 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 46 %einzelne zitierbare Belege
- JEV 45 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 48 %einzelne zitierbare Belege
- JEV 37 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra