OpenAI's Pando Cuts Push Latency 80% Serving a Petabyte of Git Daily
Zusammenfassung
Kurz
Der Bericht beschreibt Pando als OpenAIs internes Git-Backend, das durch parallele Branch-Schreibvorgänge, wiederverwendbare Packfiles und getrennt skalierbare Speicher laut Unternehmen die Push-Latenz um knapp 80 Prozent senkt und täglich fast ein Petabyte Daten ausliefert. Diese Leistungswerte stammen aus OpenAIs Produktionsumgebung; Pando ist nicht öffentlich verfügbar, und der Bericht belegt nicht, wie es sich bei anderen Repositories und Arbeitslasten verhält.
Mittel
Der Bericht stellt Pando als OpenAIs internes, verteiltes Backend für das zentrale Git-Repository vor. Entwickler und Codex-Agenten behalten die gewohnten Git-Befehle und das Protokoll. OpenAI zufolge verringerte Pando die mediane Push-Latenz um knapp 80 Prozent und liefert täglich annähernd ein Petabyte Git-Daten mit wenigen CPU-Kernen. Das vorherige System sei unter der gleichzeitigen Last von Menschen und Agenten auf weniger als 90 Prozent Zuverlässigkeit gefallen.
Pando ermöglicht parallele Pushs auf verschiedene Branches, hält Änderungen am selben Branch aber geordnet. Für Fetches verwendet es gespeicherte, wiederverwendbare Packfiles, die Clients parallel laden können. Hintergrundprozesse fassen zunächst kleine Packs zu größeren, lesefreundlichen Dateien zusammen. Metadaten und Objektspeicher lassen sich laut Bericht getrennt erweitern. OpenAI sagt außerdem, Änderungen am Git-Client upstream beizusteuern.
Die Zahlen stammen aus OpenAIs Produktionsumgebung und zeigen nicht, wie Pando bei anderen Repositories oder Arbeitslasten abschneidet. Das System bleibt intern; Quellcode, selbst hostbares Paket, öffentliche API und Bereitstellungsanleitung wurden laut Bericht nicht veröffentlicht. Eine ähnliche Lösung benötigte zusätzliche verteilte Infrastruktur und Betriebsaufwand.
Ausführlich lesen
Der Bericht beschreibt Pando, ein internes verteiltes Backend, mit dem OpenAI das Git-Hauptrepository des Unternehmens betreibt. Entwickler und Codex-Agenten verwenden weiterhin vertraute Git-Befehle und das Git-Protokoll. Nach Darstellung des Unternehmens wurde die Serverarchitektur neu gestaltet, um gleichzeitige Schreibvorgänge, Metadaten und die Speicherung von Git-Objekten horizontal skalieren zu können.
OpenAI zufolge sank die mediane Dauer eines Pushs um knapp 80 Prozent, was nahezu einer Verfünffachung der Geschwindigkeit entspreche. Das System liefere außerdem täglich annähernd ein Petabyte Git-Daten mit wenigen CPU-Kernen aus. Der frühere Backend-Dienst habe weniger als 90 Prozent Zuverlässigkeit erreicht. Als Belastungen nennt der Bericht die wachsende Zahl gleichzeitiger Aktivitäten von Agenten und Menschen: langsame Fetches, fehlgeschlagene Merges und stärkere Konkurrenz um Schreibvorgänge.
Pando koordiniert Änderungen auf Branch-Ebene. Pushs auf verschiedene Branches können parallel verarbeitet werden; Aktualisierungen desselben Branches bleiben dagegen nacheinander geordnet, um widersprüchliche Historien zu vermeiden. Eine Versionierung der Git-Referenzen soll zudem ermöglichen, benötigte Historie zu berechnen, während mehrere Branches fortgeschrieben werden. Zusätzliche Kapazität entsteht laut Bericht durch weitere Serverinstanzen sowie skalierbare Metadaten- und Blob-Speicher.
Auch das Lesen wurde angepasst. Statt für jeden Fetch wiederholt ähnliche Datenpakete zu erzeugen, liefert der Server Links zu gespeicherten Packfiles, die fehlende Historie und erforderliche Branch-Abhängigkeiten abdecken. Clients können solche Dateien wiederverwenden und unabhängig voneinander parallel herunterladen. Häufige Pushs erzeugen zunächst kleine Packfiles; Hintergrundprozesse fassen sie zu größeren, für Lesezugriffe optimierten Einheiten zusammen. OpenAI berichtet, diese Verdichtung bis zur Ebene L4 zu betreiben.
Für die Kompatibilität arbeitete OpenAI direkt am Git-Code. Das Unternehmen nennt unter anderem parallele Verarbeitung unabhängiger Packs und eine Bereinigung nach unterbrochenen Downloads als Änderungen am Client. Es erklärt, diese Patches upstream beizusteuern; künftige Git-Versionen könnten damit Verbesserungen auch Nutzern bringen, die Pando nicht einsetzen.
Der Bericht betont zugleich die Grenzen der Übertragbarkeit: Pando ist ein internes System für OpenAIs Repository und Infrastruktur. Es gibt demnach weder veröffentlichten Quellcode noch ein selbst hostbares Paket, eine öffentliche API oder eine Bereitstellungsanleitung. Ein ähnlicher Betrieb würde verteilte Metadatendienste, Blob-Speicher, Verdichtungsprozesse, Überwachung und Fehlerbehandlung erfordern. Die Leistungsangaben stammen aus OpenAIs Produktionsumgebung und belegen nicht, wie sich das System bei anderen Repository-Größen oder Arbeitslasten verhält. OpenAI prüfe den Einsatz für weitere interne Arbeitslasten mit vielen Agenten; außerhalb des Unternehmens sind vorerst vor allem mögliche Verbesserungen im Git-Client zugänglich.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Stufen und Anteile wurden nicht übernommen. Der Bericht ist ein Technikartikel zur Git-Infrastruktur von OpenAI und stützt die KI-Sicherheitsfragen allenfalls am Rande.
Im Bericht, aber nicht in der Zusammenfassung
- fast fünffache Verbesserung der Push-Latenz
- Ursachen im alten Backend: CPU-Last durch Pack-Erzeugung, Serialisierung pro Repository und doppelte Arbeit bei Fetches
- Auslieferung des Git-Clients mit ChatGPT-Desktop-App und paralleles Laden unabhängiger Packfiles
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 43 %einzelne zitierbare Belege
- JEV
- amos 32 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 75 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 28 %Hintergrund, keine Belege
- Luna 51 %einzelne zitierbare Belege
- JEV
- amos 26 %einzelne zitierbare Belege
- SubQ 23 %gleiches Oberthema, hilft nicht
- drex 25 %Hintergrund, keine Belege
- d3-ultra 35 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-A3-T01 Welche Beobachtungen oder gemeinsamen Tests erkennen entstehende Abstimmung, Absprachen oder Kettenfehler zwischen Modellen in Arbeitsabläufen, Lieferketten und Gruppen vieler Agenten (Schwärmen), die kein einzelnes Labor steuert oder vorhersieht?
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv