Scaling Git at OpenAI
Zusammenfassung
Kurz
OpenAI berichtet, Pando skaliere Git für parallele Entwicklung, indem es Branches unabhängig aktualisiert und Packfiles über Caches wiederverwendet. Das Unternehmen nennt deutlich schnellere Pushes und hohe Zuverlässigkeit, räumt aber ein, dass mehrere Branches beim Lesen keinen gemeinsamen zeitgleichen Stand garantieren; die Vergleichssimulation sei kein Produktionsbenchmark.
Mittel
OpenAI beschreibt Pando als Git-Backend für das stark gewachsene Monorepo und die durch Codex verstärkte parallele Entwicklungsarbeit. Das System soll Pushes auf unabhängige Branches parallel verarbeiten und gespeicherte Packfiles für viele Fetches wiederverwenden. Dafür akzeptiert es, dass Lesezugriffe auf mehrere Branches keinen einheitlichen zeitgleichen Repository-Stand garantieren; die Aktualisierung einzelner Branches bleibt geordnet. Regionale Caches und Hintergrundverdichtung sollen Downloads beschleunigen und die Zahl nötiger Packs verringern.
Der Bericht vergleicht Pando mit Replikaten samt Drei-Phasen-Commit und einem gemeinsamen Write-ahead-Log. Eine Simulation mit 1.000 Schreibern ist laut Autoren ein synthetisches Lehrmodell, kein Produktionsbenchmark. OpenAI gibt an, die mediane Push-Latenz nahezu verfünffacht verbessert beziehungsweise um fast 80 Prozent gesenkt zu haben. Für 37 Werktage nennt der Text 99,99 Prozent Post-Merge-Zuverlässigkeit sowie nahezu ein Petabyte ausgelieferte Git-Daten täglich. Das sind Unternehmensangaben, keine unabhängige Auswertung. Pando sei in zehn Wochen mit Codex entwickelt worden. OpenAI habe zugleich Git-Verbesserungen beigesteuert und prüfe, wie die Technologie weiteren Nutzern zugänglich gemacht werden könnte.
Ausführlich lesen
Der Bericht beschreibt Pando, ein von OpenAI entwickeltes Backend für Git-Repositories. Anlass sei das starke Wachstum des Monorepos und die zusätzliche parallele Entwicklungsarbeit durch Codex gewesen: Mehr Branches, Pushes, Merges, Fetches und Klone hätten die bisherigen Systeme zunehmend belastet. OpenAI berichtet von langsamen Übertragungen, fehlgeschlagenen Merges und zeitweise unter 90 Prozent liegender Zuverlässigkeit. Pando sei ohne Unterbrechung der Entwicklungsarbeit eingeführt worden und unterstütze weiterhin das vertraute Git-Protokoll und die üblichen Arbeitsabläufe.
Das System soll zugleich viele unabhängige Schreibvorgänge und sehr viele Lesezugriffe bewältigen. Dazu koordiniert es Änderungen pro Branch, sodass Pushes auf verschiedene Branches parallel verarbeitet werden können. Diese Entscheidung lockert die Konsistenz über das gesamte Repository: Wer mehrere Branches liest, erhält nicht zwingend einen gemeinsamen, zeitgleichen Stand. Für einzelne Referenzen bleibe die Aktualisierung dagegen geordnet. Außerdem speichert Pando eingehende Packfiles in einem Blob-Speicher und verwendet sie für spätere Downloads wieder, statt für jeden Client ein eigenes Paket zu berechnen. Bei Fetches wählt es anhand der vorhandenen und gewünschten Commits passende gespeicherte Packs aus. Regionale Caches sollen die Auslieferung beschleunigen; Hintergrundverdichtung fasst kleinere Packs zusammen und erleichtert die Suche nach den benötigten Daten.
Der Bericht stellt Pando zwei modellierten Ansätzen gegenüber: vollständigen Replikaten mit Drei-Phasen-Commit und einem gemeinsamen Write-ahead-Log in Objektspeicher. Nach der Darstellung von OpenAI können beim ersten Ansatz Abstimmungen zwischen Replikaten Pushes verzögern; beim zweiten konkurrieren Änderungen an einem gemeinsamen Manifest, während Replikate neue Packs einlesen müssen. Eine interaktive Simulation mit 1.000 Schreibern und insgesamt 10.000 Pushes vergleicht die Ansätze unter verschiedenen Hardwarebedingungen. Die Autoren betonen ausdrücklich, dass diese Simulation ein synthetisches Lehrmodell und kein Produktionsbenchmark ist. Sie berichten, dass Pando in der Simulation auch bei vielen parallelen Schreibern leistungsfähig bleibe.
Als Produktionswerte nennt OpenAI eine nahezu fünffache Verringerung der medianen Push-Latenz beziehungsweise eine Reduktion um fast 80 Prozent. Nach 37 Werktagen habe die Post-Merge-Zuverlässigkeit 99,99 Prozent betragen. Pando liefere nahezu ein Petabyte Git-Daten pro Tag und habe in einer Stunde mehr als 57 Terabyte an Packs bereitgestellt; über 99 Prozent dieser Bytes seien aus lokalem Festplattencache gekommen. Für Klone und Fetches mit Standard-Cloud-VMs gibt der Bericht an, 10-Gbit/s-Verbindungen auszulasten. Diese Zahlen sind Angaben des Unternehmens; der Text legt keine unabhängige Prüfung vor.
Pando sei innerhalb von zehn Wochen mit Unterstützung von Codex entwickelt und zunächst als Lese- und Schreib-Proxy eingeführt worden. Zur Qualitätssicherung nennt OpenAI Git-Konformitätstests, deterministische Simulationen sowie formale Arbeit mit Lean und TLA+. Außerdem habe das Unternehmen Verbesserungen am Git-Client und am `packfile-uri`-Verfahren an das Open-Source-Projekt zurückgegeben. Der Bericht beschreibt OpenAI als derzeitigen produktiven Nutzer und sagt, das Unternehmen prüfe, wie die Technologie mit weiteren Nutzern geteilt werden könnte. Damit bleiben sowohl die gelockerte Konsistenz über verschiedene Branches als auch die noch offene breitere Verfügbarkeit zentrale Einschränkungen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Stufen 4 bei SF-A3, SF-P3 und SF-T3 sowie 3 bei SF-A3-T01 sind überhöht, weil der Bericht ein Git-Infrastrukturthema behandelt und keine Sicherheitsbewertung von KI-Interaktionen enthält. Die Anteilswerte sind im Schema nicht vorgesehen und wurden nicht übernommen. Beurteilt wurde die mittlere Zusammenfassung; die kurze Fassung ist ebenfalls im Kern treu, lässt aber Produktionsdaten und die Architekturvergleiche aus.
Im Bericht, aber nicht in der Zusammenfassung
- Pando bedient seit April des Berichtsjahres Produktionsverkehr
- Umsetzung in Rust ohne Altlasten, Konformitätstests und formale Prüfung mit Lean und TLA+
- Zuverlässigkeit von Merges und Pushes fiel zeitweise unter 90 Prozent, Ausgangspunkt der Neuentwicklung
- Trade-off beim Advertising nur des Trunks: Median-Packfile unter 20 KiB, 99. Perzentil unter 3 MiB
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, die Zahlen seien reine Unternehmensangaben ohne unabhängige Auswertung, steht so nicht im Bericht und ist eine eigene Einordnung
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 61 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-P3-T06 Wenn getrennte Sicherheitsprüfungen Repositorien, Zwischenspeicher oder andere beschreibbare Dienste teilen: Wie zeigt man, dass Modellinstanzen zwischen den Läufen keine Informationen austauschen und dadurch das gemeldete Ergebnis ungültig machen können?
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 58 %einzelne zitierbare Belege
- JEV 46 %einzelne zitierbare Belege
- amos 26 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 27 %nur am Rande erwähnt
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 35 %nur am Rande erwähnt
- JEV 100 %kein Bezug
- amos 29 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 65 %einzelne zitierbare Belege
- JEV 28 %einzelne zitierbare Belege
- amos 30 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-A3-T01 Welche Beobachtungen oder gemeinsamen Tests erkennen entstehende Abstimmung, Absprachen oder Kettenfehler zwischen Modellen in Arbeitsabläufen, Lieferketten und Gruppen vieler Agenten (Schwärmen), die kein einzelnes Labor steuert oder vorhersieht?
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv