Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai11. Februar 2026 · Q006874

Harness engineering: leveraging Codex in an agent-first world

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt, wie ein OpenAI-Team laut eigener Darstellung ein internes Produkt ohne manuell geschriebenen Code mit Codex entwickelte. Dafür investierte es in Repository-Dokumentation, feste Architekturregeln und Werkzeuge, mit denen Agenten die Anwendung selbst testen und beobachten können. Die berichtete Autonomie hängt stark von dieser speziellen Umgebung ab; langfristige Wartbarkeit bleibt offen.

Mittel

Der Bericht beschreibt ein fünfmonatiges OpenAI-Experiment, bei dem Codex laut Autor ein internes Softwareprodukt ohne manuell geschriebenen Code entwickelte. Das Team berichtet von rund einer Million Codezeilen und etwa 1.500 zusammengeführten Pull Requests und schätzt, die Arbeit in einem Zehntel der Zeit manueller Entwicklung erledigt zu haben.

Die Rolle der Ingenieure verlagerte sich demnach vom Schreiben von Code auf den Aufbau geeigneter Werkzeuge, Regeln und Rückkopplungsschleifen. Codex erhielt Zugriff auf isolierte App-Instanzen, Browsersteuerung sowie Logs, Metriken und Traces, um Änderungen selbst zu prüfen. Repository-Dokumentation wurde als strukturierte Wissensquelle organisiert; Linter und CI sollten Regeln und Architekturgrenzen durchsetzen und veraltete Inhalte sichtbar machen. Agenten übernahmen zunehmend Reviews, Fehlerbehebungen und Pull Requests, während Menschen Ziele vorgaben, Ergebnisse bewerteten und nötiges Wissen in das System einbrachten.

Der Autor betont, dass die beschriebene Autonomie von der eigens entwickelten Repository-Struktur und Werkzeugausstattung abhängt. Wie sich Kohärenz und Wartbarkeit über Jahre entwickeln und wo menschliches Urteil langfristig am wertvollsten ist, bleibt laut Bericht offen.

Ausführlich lesen

Der Bericht schildert ein fünfmonatiges OpenAI-Experiment: Ein kleines Team entwickelte eine interne Beta vollständig mit Codex, ohne von Menschen geschriebenen Code. Laut Autor umfasst das Produkt Anwendungscode, Tests, CI, Dokumentation, Beobachtbarkeit und interne Werkzeuge. Es werde intern täglich und von externen Alpha-Testern genutzt. Das Team schätzt, die Arbeit in etwa einem Zehntel der Zeit erledigt zu haben, die manuelles Programmieren benötigt hätte. Aus einem leeren Git-Repository seien rund eine Million Codezeilen und etwa 1.500 zusammengeführte Pull Requests entstanden; zunächst trieben drei, später sieben Ingenieure die Arbeit voran. Diese Zahlen und Einschätzungen stammen aus dem Bericht.

Die zentrale These lautet: Ingenieure schreiben in diesem Arbeitsmodell weniger Code und investieren stattdessen in die Umgebung, in der Agenten zuverlässig arbeiten können. Der Start sei langsamer gewesen als erwartet, weil Codex Werkzeuge, Abstraktionen und klare Strukturen gefehlt hätten. Das Team zerlegte größere Ziele in kleinere Schritte und fragte bei Problemen, welche Fähigkeit oder Information dem Agenten fehlte. Codex sollte Änderungen selbst prüfen, weitere Agentenreviews einholen und Rückmeldungen iterativ umsetzen. Menschen konnten Pull Requests prüfen, waren laut Bericht aber nicht mehr für jeden Review erforderlich.

Um die Qualitätssicherung bei höherem Änderungsdurchsatz zu bewältigen, machte das Team Anwendung und Laufzeitdaten für Codex zugänglich. Die Anwendung ließ sich isoliert pro Git-Worktree starten; über Chrome DevTools konnte der Agent Oberflächenzustände untersuchen, Abläufe ausführen und Fehler reproduzieren. Eine lokale, ebenfalls isolierte Beobachtungsumgebung stellte Protokolle, Metriken und Traces bereit. So sollten Aufgaben mit messbaren Vorgaben zu Startzeiten oder Antwortspannen überprüfbar werden. Einzelne Agentenläufe dauerten laut Bericht teils mehr als sechs Stunden.

Wissen wurde als versionierte Dokumentation im Repository organisiert. Eine kurze AGENTS.md diente als Wegweiser zu Architektur-, Produkt-, Qualitäts- und Ausführungsplänen, statt sämtliche Regeln in einer großen Datei zu bündeln. Linter und CI sollten Struktur, Verknüpfungen und Aktualität prüfen; ein regelmäßiger Agent sollte veraltete Dokumentation finden und Korrekturvorschläge erstellen. Begründung: Wissen in Chats, externen Dokumenten oder den Köpfen von Mitarbeitenden sei für den Agenten nicht unmittelbar verfügbar. Das Team bevorzugte daher nach eigener Darstellung Technologien und Abstraktionen, die sich aus dem Repository heraus verstehen und überprüfen ließen.

Architekturregeln wurden mechanisch abgesichert: feste Schichten und zulässige Abhängigkeiten, Strukturtests sowie Regeln etwa für Protokollierung, Benennung und Dateigrößen. Die Vorgaben sollten Grenzen und Korrektheit sichern, innerhalb derer der Agent Lösungen frei ausgestalten könne. Menschliches Urteil werde über Review-Kommentare, Fehler und Refactorings in Dokumentation oder Werkzeuge zurückgeführt. Wiederkehrende Aufräumläufe sollten Abweichungen von festgelegten Prinzipien erkennen und kleinere Refactorings anstoßen. Weil Korrekturen bei hohem Durchsatz günstig seien, setzte das Team laut Bericht auf wenige blockierende Merge-Hürden und kurze Pull-Request-Zyklen.

Der Bericht sagt, Codex könne inzwischen nach einer einzelnen Eingabe einen Fehler reproduzieren, beheben, die Anwendung testen, Videos aufnehmen, einen Pull Request bearbeiten und zusammenführen; ein Mensch werde eingeschaltet, wenn Urteil erforderlich sei. Zugleich schränkt der Autor ein, dass diese Autonomie stark von der besonderen Struktur und Werkzeugausstattung dieses Repositorys abhänge. Offen bleibe, wie sich die architektonische Kohärenz über Jahre entwickelt, wo menschliches Urteil den größten Nutzen hat und wie sich das System mit leistungsfähigeren Modellen verändert. Die Erfahrungen reichen laut Bericht bis zum internen Start und zur Nutzung bei OpenAI; langfristige Ergebnisse werden nicht belegt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas zwei Zusammenfassungen (kurz und mittel) wurden gemeinsam geprüft; beide enthalten keine erfundenen Angaben, die mittlere ist deutlich vollständiger. Der Bericht ist eine Selbstdarstellung von OpenAI ohne unabhängige Belege, und die Angaben zu Zeit und Durchsatz sind Schätzungen des Autors. Die Metadaten zur Prüfung („unauffaellig“) und zur Entschärfung sagen nichts über den inhaltlichen Wahrheitsgehalt aus und wurden nicht als Beleg gewertet.

Im Bericht, aber nicht in der Zusammenfassung

  • Entropie und Aufräumen: Codex übernimmt auch unsaubere Muster, dagegen werden „Golden Principles“ und regelmäßige Hintergrund-Refactoring-PRs eingesetzt (mittel)
  • Minimale blockierende Merge-Gates und kurzlebige Pull Requests (mittel)
  • Teamgröße von drei auf sieben Ingenieure und Durchsatz von etwa 3,5 PRs pro Ingenieur und Tag (mittel)
  • Einzelne Codex-Läufe arbeiten bis zu sechs Stunden an einer Aufgabe (mittel)
  • Die Kurzfassung nennt keine Zahlen und keine konkreten Mechanismen wie Linter, Architekturschichten oder Abgrenzung des Wissens auf das Repository (kurz)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 62 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 40 %einzelne zitierbare Belege
    • JEV 49 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 55 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 76 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 25 %gleiches Oberthema, hilft nicht
    • Luna 57 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 25 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
    • SF-P3-T05 Welches Mindestpaket (Datenverzeichnisse, Code, Zufallsstartwerte, Abbilder der Rechenumgebung, Prüferversionen, Fehlerprotokolle und Annahmen über die Hardware) muss ein Labor sichern oder kontrolliert hinterlegen, damit ein Prüfer ein sicherheitskritisches Trainings- oder Prüfergebnis auch nach Ende seines Zugangs nachrechnen kann, und welche Geheimnisse bleiben unzugänglich? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 48 %einzelne zitierbare Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 26 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 20 %Hintergrund, keine Belege
    • Luna 47 %umfangreiche Belege
    • JEV 30 %umfangreiche Belege
    • amos 30 %einzelne zitierbare Belege
    • SubQ 28 %einzelne zitierbare Belege
    • drex 29 %einzelne zitierbare Belege
    • d3-ultra 31 %einzelne zitierbare Belege
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-T3-T01 Welches messbare Zeichen, also welche beobachtbare Änderung in der Fähigkeit eines Modells, die Abläufe zu verbessern, mit denen seine eigenen Fähigkeiten entwickelt werden, würden Labore und Staaten gemeinsam als Beginn der Selbstverbesserung anerkennen, und wer darf im Labor danach suchen? Welche beobachtbare Änderung markiert den Schritt von beaufsichtigter automatisierter Forschung zu voll selbstständiger Selbstverbesserung, und welche öffentliche Stelle darf diesen Schritt nach Prüfung der Belege für menschliche Kontrolle erlauben oder ablehnen? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
    • SF-T3-T05 Wenn Selbstverbesserung schneller voranschreitet als der Beobachtungstakt fortlaufender Prüfer: Wie kurz muss dieser Takt sein, und wer darf zwischen zwei Beobachtungen eine Pause durchsetzen: der Prüfer, das Labor oder eine Stelle von außen? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 23 %einzelne zitierbare Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 5 · 52 % · umfangreiche Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 4 · 34 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-V1-T13 Wenn sich vorgeführte und tatsächlich vertretene Tugend im Text nicht unterscheiden lassen: Soll der Unterschied trotzdem bestimmen, wie man Modelle baut und regelt? Luna: Stufe 4 · 29 % · einzelne zitierbare Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 55 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 28 %Hintergrund, keine Belege
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt? Luna: Stufe 3 · 52 % · Hintergrund, keine Belege
    • SF-V3-T02 Wie macht man die Ausrichtung eines Modells an Werten zu prüfbaren Verhaltensregeln statt zu angestrebten menschlichen Eigenschaften wie der „Liebe zur Menschheit“? Luna: Stufe 4 · 33 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 40 %beantwortet teilweise oder widerspricht
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 64 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 22 %gleiches Oberthema, hilft nicht
    • Luna 47 %einzelne zitierbare Belege
    • JEV 41 %beantwortet teilweise oder widerspricht
    • amos 25 %einzelne zitierbare Belege
    • SubQ 28 %gleiches Oberthema, hilft nicht
    • drex 30 %einzelne zitierbare Belege
    • d3-ultra 36 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 19 %Hintergrund, keine Belege
    • Luna 63 %umfangreiche Belege
    • JEV 43 %beantwortet direkt und ausführlich
    • amos 27 %umfangreiche Belege
    • SubQ 33 %einzelne zitierbare Belege
    • drex 26 %umfangreiche Belege
    • d3-ultra 32 %einzelne zitierbare Belege
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-A1-T01 Welche Mindestgrenzen und Schutzvorkehrungen sollen für Zugangsdaten, Kommunikation, Geld, dauerhaftes Gedächtnis, Verträge, Änderungen an Systemen und Handlungen in der physischen Welt gelten, auch wenn ein Agent über Tage ohne sofortige menschliche Zustimmung handelt, und wer darf Befugnisse erteilen, prüfen und entziehen? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 25 %gleiches Oberthema, hilft nicht
    • Luna 45 %einzelne zitierbare Belege
    • JEV 25 %Hintergrund, keine Belege
    • amos 29 %einzelne zitierbare Belege
    • SubQ 29 %Hintergrund, keine Belege
    • drex 39 %einzelne zitierbare Belege
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

  3. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 31 %gleiches Oberthema, hilft nicht
    • drex 30 %gleiches Oberthema, hilft nicht
    • d3-ultra 46 %gleiches Oberthema, hilft nicht

    • SF-A3-T01 Welche Beobachtungen oder gemeinsamen Tests erkennen entstehende Abstimmung, Absprachen oder Kettenfehler zwischen Modellen in Arbeitsabläufen, Lieferketten und Gruppen vieler Agenten (Schwärmen), die kein einzelnes Labor steuert oder vorhersieht? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 74 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 43 %einzelne zitierbare Belege
    • JEV 41 %umfangreiche Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →