Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai9. Januar 2026 · Q005859

Datadog uses Codex for system-level code review

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Datadog berichtet, Codex erkenne in Code-Reviews systemweite Risiken, die Menschen oder regelbasierte Werkzeuge übersehen könnten. In einem Rückblick auf frühere Vorfälle hätten Entwickler bei rund 22 Prozent der untersuchten Fälle gesagt, Codex’ Hinweise hätten etwas bewirkt; der Bericht nennt jedoch keine genaue Fallzahl oder unabhängige Prüfung.

Mittel

Der Bericht schildert Datadogs Einsatz von OpenAIs Codex für Code-Reviews. Das Unternehmen sagt, frühere KI-Prüfwerkzeuge hätten oft oberflächliche oder störende Hinweise geliefert. Codex werde dagegen in den größeren Zusammenhang des Codebestands einbezogen und könne Risiken über Modul- und Dienstgrenzen hinweg aufdecken. Datadog integrierte den Agenten in Entwicklungsabläufe und ließ in einem großen Repository automatisch Pull Requests prüfen.

Zur Bewertung rekonstruierte das Team frühere Pull Requests, die zu Vorfällen beigetragen hatten, und fragte die zuständigen Entwickler, ob Codex’ nachträgliche Hinweise etwas geändert hätten. Bei mehr als zehn Fällen, ungefähr 22 Prozent der untersuchten Vorfälle, bejahten die Befragten das. Genannt werden unter anderem übersehene Modulwechselwirkungen, fehlende Tests bei dienstübergreifenden Abhängigkeiten und Risiken durch API-Änderungen. Datadog berichtet, mehr als 1.000 Ingenieure nutzten Codex regelmäßig. Der gewünschte Effekt sei, dass Menschen stärker Architektur und Design bewerten können. Die Angaben beruhen auf Datadogs eigener Auswertung und Mitarbeiterfeedback; Fallzahl, Auswahlverfahren und systematische Messungen vermiedener Vorfälle nennt der Bericht nicht.

Ausführlich lesen

Der Bericht beschreibt, wie Datadog den OpenAI-Coding-Agenten Codex für Code-Reviews einsetzt. Datadog betreibt nach eigener Darstellung eine weit verbreitete Plattform zur Beobachtung, Fehlersuche und Absicherung verteilter Systeme. Weil Kunden auf deren Zuverlässigkeit angewiesen seien, hätten Fehler in Änderungen potenziell weitreichende Folgen. Das Unternehmen stellt Code-Reviews deshalb als wichtigen Punkt dar, um Risiken zu erkennen, bevor Änderungen in den Produktivbetrieb gelangen.

Zuvor habe Datadog stark auf erfahrene Entwicklerinnen und Entwickler vertraut, die den Code, seine Geschichte und architektonische Zusammenhänge kennen. Dieses Wissen sei schwer auf viele Reviews zu übertragen. Frühere KI-Werkzeuge hätten häufig eher wie erweiterte Linter gearbeitet: Sie hätten oberflächliche oder zu häufige Hinweise geliefert und dabei Zusammenhänge im Gesamtsystem verfehlt. Laut Bericht seien solche Vorschläge deshalb oft ignoriert worden.

Das AI-DevX-Team von Datadog integrierte Codex in laufende Entwicklungsabläufe. In einem großen, stark genutzten Repository wurde nach dem Bericht jeder Pull Request automatisch geprüft. Entwickler gaben Rückmeldungen zu Codex-Kommentaren und tauschten informelle Erfahrungen aus. Viele hätten die Hinweise im Vergleich zu denen früherer Werkzeuge als lesenswert empfunden.

Um zu prüfen, ob Codex auch über Stil- und lokale Codeprobleme hinaus Risiken erkennen könne, entwickelte Datadog einen sogenannten Incident-Replay-Test. Das Team rekonstruierte Pull Requests, die zu früheren Vorfällen beigetragen hatten, ließ Codex diese nachträglich prüfen und fragte die für die Vorfälle verantwortlichen Entwickler, ob die Hinweise etwas geändert hätten. Bei mehr als zehn Fällen – laut Bericht etwa 22 Prozent der untersuchten Vorfälle – hätten die befragten Entwickler bestätigt, dass Codex’ Rückmeldung einen Unterschied gemacht hätte. Datadog erklärt, damit habe Codex in dieser Auswertung besser abgeschnitten als die anderen geprüften Werkzeuge. Die Änderungen hatten bereits ein menschliches Review durchlaufen; der Bericht wertet das Ergebnis daher als Ergänzung menschlicher Prüfung.

Als typische Hinweise nennt der Text Wechselwirkungen mit Modulen außerhalb des geänderten Bereichs, fehlende Tests bei Abhängigkeiten zwischen Diensten und Risiken durch Änderungen an API-Verträgen. Codex könne laut Datadog die Absicht eines Pull Requests mit dem Code vergleichen, den gesamten Codebestand und Abhängigkeiten berücksichtigen sowie Code und Tests ausführen, um Verhalten zu prüfen. Das soll es von regelbasierten Analysewerkzeugen unterscheiden. Die angeführten Einschätzungen stammen von Datadog-Mitarbeitern und beschreiben deren Erfahrung mit dem Werkzeug.

Nach der Auswertung weitete Datadog den Einsatz aus. Der Bericht beziffert die Zahl der regelmäßigen Nutzer auf mehr als 1.000 Ingenieure. Rückmeldungen würden vor allem informell, etwa in Slack, geteilt; formelle In-Tool-Kennzahlen seien nicht der Schwerpunkt. Datadog beschreibt den Nutzen nicht nur als Zeitersparnis, sondern als Verschiebung des Review-Schwerpunkts: Codex solle kritische Fehler und schwer erkennbare Randfälle finden, während sich menschliche Reviewer stärker mit Architektur und Design befassen könnten. Das Unternehmen verbindet den Ansatz mit höherer Zuversicht beim Ausliefern und dem Schutz des Kundenvertrauens.

Die Aussagekraft bleibt durch die Angaben im Bericht begrenzt: Die Zahl der untersuchten Vorfälle, Auswahlkriterien und detaillierte Testmethoden werden nicht genannt. Die Bewertung, ob ein Hinweis einen Unterschied gemacht hätte, beruht auf Einschätzungen der beteiligten Entwickler. Auch der breitere Einsatz wird vor allem mit informellem Feedback und einer Nutzerzahl beschrieben; systematische Messwerte zu vermiedenen Vorfällen oder Auswirkungen auf Zuverlässigkeit legt der Text nicht vor.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Arbeit enthält zwei Zusammenfassungen (kurz und mittel); ich habe beide gemeinsam bewertet, da das Schema nur ein Urteil vorsieht. Die Einordnung gilt nur für die drei Sammelfragen, da keine Teilfragen angegeben sind. Die Abbildungen im Bericht (Titel u.a. ChatGPT Wallet, Shield, Amplitude) stehen in keinem inhaltlichen Bezug zum Text und wurden nicht als Beleg gewertet.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Bericht sagt, Codex habe bei der Replay-Auswertung mehr Fälle mit spürbarer Wirkung ergeben als jedes andere geprüfte Werkzeug; beide Zusammenfassungen lassen dies aus.
  • Codex vergleicht laut Bericht die Absicht eines Pull Requests mit den Codeänderungen und führt Code und Tests aus; das fehlt.
  • Der Bericht nennt die Befragung der verantwortlichen Ingenieure als Auswertungsmethode; die kurze Fassung nennt sie nicht ausdrücklich.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 55 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 47 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 36 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 25 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 48 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →