Datadog uses Codex for system-level code review
Zusammenfassung
Kurz
Datadog berichtet, Codex erkenne in Code-Reviews systemweite Risiken, die Menschen oder regelbasierte Werkzeuge übersehen könnten. In einem Rückblick auf frühere Vorfälle hätten Entwickler bei rund 22 Prozent der untersuchten Fälle gesagt, Codex’ Hinweise hätten etwas bewirkt; der Bericht nennt jedoch keine genaue Fallzahl oder unabhängige Prüfung.
Mittel
Der Bericht schildert Datadogs Einsatz von OpenAIs Codex für Code-Reviews. Das Unternehmen sagt, frühere KI-Prüfwerkzeuge hätten oft oberflächliche oder störende Hinweise geliefert. Codex werde dagegen in den größeren Zusammenhang des Codebestands einbezogen und könne Risiken über Modul- und Dienstgrenzen hinweg aufdecken. Datadog integrierte den Agenten in Entwicklungsabläufe und ließ in einem großen Repository automatisch Pull Requests prüfen.
Zur Bewertung rekonstruierte das Team frühere Pull Requests, die zu Vorfällen beigetragen hatten, und fragte die zuständigen Entwickler, ob Codex’ nachträgliche Hinweise etwas geändert hätten. Bei mehr als zehn Fällen, ungefähr 22 Prozent der untersuchten Vorfälle, bejahten die Befragten das. Genannt werden unter anderem übersehene Modulwechselwirkungen, fehlende Tests bei dienstübergreifenden Abhängigkeiten und Risiken durch API-Änderungen. Datadog berichtet, mehr als 1.000 Ingenieure nutzten Codex regelmäßig. Der gewünschte Effekt sei, dass Menschen stärker Architektur und Design bewerten können. Die Angaben beruhen auf Datadogs eigener Auswertung und Mitarbeiterfeedback; Fallzahl, Auswahlverfahren und systematische Messungen vermiedener Vorfälle nennt der Bericht nicht.
Ausführlich lesen
Der Bericht beschreibt, wie Datadog den OpenAI-Coding-Agenten Codex für Code-Reviews einsetzt. Datadog betreibt nach eigener Darstellung eine weit verbreitete Plattform zur Beobachtung, Fehlersuche und Absicherung verteilter Systeme. Weil Kunden auf deren Zuverlässigkeit angewiesen seien, hätten Fehler in Änderungen potenziell weitreichende Folgen. Das Unternehmen stellt Code-Reviews deshalb als wichtigen Punkt dar, um Risiken zu erkennen, bevor Änderungen in den Produktivbetrieb gelangen.
Zuvor habe Datadog stark auf erfahrene Entwicklerinnen und Entwickler vertraut, die den Code, seine Geschichte und architektonische Zusammenhänge kennen. Dieses Wissen sei schwer auf viele Reviews zu übertragen. Frühere KI-Werkzeuge hätten häufig eher wie erweiterte Linter gearbeitet: Sie hätten oberflächliche oder zu häufige Hinweise geliefert und dabei Zusammenhänge im Gesamtsystem verfehlt. Laut Bericht seien solche Vorschläge deshalb oft ignoriert worden.
Das AI-DevX-Team von Datadog integrierte Codex in laufende Entwicklungsabläufe. In einem großen, stark genutzten Repository wurde nach dem Bericht jeder Pull Request automatisch geprüft. Entwickler gaben Rückmeldungen zu Codex-Kommentaren und tauschten informelle Erfahrungen aus. Viele hätten die Hinweise im Vergleich zu denen früherer Werkzeuge als lesenswert empfunden.
Um zu prüfen, ob Codex auch über Stil- und lokale Codeprobleme hinaus Risiken erkennen könne, entwickelte Datadog einen sogenannten Incident-Replay-Test. Das Team rekonstruierte Pull Requests, die zu früheren Vorfällen beigetragen hatten, ließ Codex diese nachträglich prüfen und fragte die für die Vorfälle verantwortlichen Entwickler, ob die Hinweise etwas geändert hätten. Bei mehr als zehn Fällen – laut Bericht etwa 22 Prozent der untersuchten Vorfälle – hätten die befragten Entwickler bestätigt, dass Codex’ Rückmeldung einen Unterschied gemacht hätte. Datadog erklärt, damit habe Codex in dieser Auswertung besser abgeschnitten als die anderen geprüften Werkzeuge. Die Änderungen hatten bereits ein menschliches Review durchlaufen; der Bericht wertet das Ergebnis daher als Ergänzung menschlicher Prüfung.
Als typische Hinweise nennt der Text Wechselwirkungen mit Modulen außerhalb des geänderten Bereichs, fehlende Tests bei Abhängigkeiten zwischen Diensten und Risiken durch Änderungen an API-Verträgen. Codex könne laut Datadog die Absicht eines Pull Requests mit dem Code vergleichen, den gesamten Codebestand und Abhängigkeiten berücksichtigen sowie Code und Tests ausführen, um Verhalten zu prüfen. Das soll es von regelbasierten Analysewerkzeugen unterscheiden. Die angeführten Einschätzungen stammen von Datadog-Mitarbeitern und beschreiben deren Erfahrung mit dem Werkzeug.
Nach der Auswertung weitete Datadog den Einsatz aus. Der Bericht beziffert die Zahl der regelmäßigen Nutzer auf mehr als 1.000 Ingenieure. Rückmeldungen würden vor allem informell, etwa in Slack, geteilt; formelle In-Tool-Kennzahlen seien nicht der Schwerpunkt. Datadog beschreibt den Nutzen nicht nur als Zeitersparnis, sondern als Verschiebung des Review-Schwerpunkts: Codex solle kritische Fehler und schwer erkennbare Randfälle finden, während sich menschliche Reviewer stärker mit Architektur und Design befassen könnten. Das Unternehmen verbindet den Ansatz mit höherer Zuversicht beim Ausliefern und dem Schutz des Kundenvertrauens.
Die Aussagekraft bleibt durch die Angaben im Bericht begrenzt: Die Zahl der untersuchten Vorfälle, Auswahlkriterien und detaillierte Testmethoden werden nicht genannt. Die Bewertung, ob ein Hinweis einen Unterschied gemacht hätte, beruht auf Einschätzungen der beteiligten Entwickler. Auch der breitere Einsatz wird vor allem mit informellem Feedback und einer Nutzerzahl beschrieben; systematische Messwerte zu vermiedenen Vorfällen oder Auswirkungen auf Zuverlässigkeit legt der Text nicht vor.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Arbeit enthält zwei Zusammenfassungen (kurz und mittel); ich habe beide gemeinsam bewertet, da das Schema nur ein Urteil vorsieht. Die Einordnung gilt nur für die drei Sammelfragen, da keine Teilfragen angegeben sind. Die Abbildungen im Bericht (Titel u.a. ChatGPT Wallet, Shield, Amplitude) stehen in keinem inhaltlichen Bezug zum Text und wurden nicht als Beleg gewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Der Bericht sagt, Codex habe bei der Replay-Auswertung mehr Fälle mit spürbarer Wirkung ergeben als jedes andere geprüfte Werkzeug; beide Zusammenfassungen lassen dies aus.
- Codex vergleicht laut Bericht die Absicht eines Pull Requests mit den Codeänderungen und führt Code und Tests aus; das fehlt.
- Der Bericht nennt die Befragung der verantwortlichen Ingenieure als Auswertungsmethode; die kurze Fassung nennt sie nicht ausdrücklich.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-M5 Was muss vor und nach einem Vorfall geschehen, damit Verantwortliche einstehen, man daraus lernt, Beweise bleiben und Betroffene auch über Grenzen hinweg zu ihrem Recht kommen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 23 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 60 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 63 %gleiches Oberthema, hilft nicht
- SubQ 62 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 55 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 25 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 69 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 47 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %einzelne zitierbare Belege
- amos 25 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 82 %gleiches Oberthema, hilft nicht
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 44 %gleiches Oberthema, hilft nicht
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 30 %Hintergrund, keine Belege
- JEV 48 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv