Self-Validating Agents in Claude Code: Automated Quality at Every Step
Zusammenfassung
Kurz
Der Bericht schlägt drei Prüfstufen für Claude-Code-Agenten vor: automatische Prüfungen nach jeder Dateiänderung, eine Abschlusskontrolle auf strukturelle Vollständigkeit und einen separaten, nur lesenden Prüfagenten. Die behauptete Verringerung typischer Fehler um 90 Prozent wird nicht belegt; der Text bietet Konfigurationsbeispiele und Empfehlungen, aber keine Wirksamkeitsstudie.
Mittel
Der Bericht empfiehlt, Qualitätsprüfungen direkt in den Arbeitsablauf von Claude-Code-Agenten einzubauen. Er unterscheidet drei Stufen: Ein `PostToolUse`-Hook prüft jede geänderte Datei unmittelbar, etwa mit ESLint und Prettier oder mit Black und mypy. Ein `Stop`-Hook kontrolliert beim Abschluss strukturelle Anforderungen wie erforderliche Dateien und Exporte und kann den Agenten bei Fehlern zur Weiterarbeit verpflichten. Zusätzlich kann ein separater, nur lesender Prüfagent Dateien, Typen, Fehlerbehandlung und Tests untersuchen und Probleme melden, ohne Änderungen vorzunehmen.
Kleine Aufgaben sollen laut Autor oft mit der Dateiprüfung auskommen; bei mehreren Dateien oder Tests empfiehlt er die Kombination aus Datei- und Abschlussprüfung, bei kritischen Systemen alle drei Stufen. Als Einstieg schlägt er eine schrittweise Ergänzung vor. Der Text behauptet, Mikro- und Makroprüfung könnten 90 Prozent häufiger Agentenfehler verhindern, belegt diese Zahl jedoch nicht. Insgesamt liefert er Beispiele und Empfehlungen, aber keine Studie oder systematische Auswertung ihrer Wirksamkeit.
Ausführlich lesen
Der Bericht beschreibt einen Ansatz, bei dem KI-Programmieragenten ihre Arbeit während des gesamten Ablaufs selbst prüfen. Ausgangspunkt ist die Beobachtung des Autors, dass Probleme häufig nicht durch falsche Logik entstehen, sondern durch unvollständige Ausführung: etwa fehlende Dateien oder Exporte, nicht passende Typen und Formatierungsfehler. Solche Mängel würden oft erst bei der späteren menschlichen Prüfung auffallen.
Als erste Stufe empfiehlt der Bericht eine Prüfung nach jedem Schreib- oder Bearbeitungsschritt. Dazu könne ein `PostToolUse`-Hook in der Definition eines Claude-Code-Agenten passende Werkzeuge ausführen, zum Beispiel ESLint und Prettier für Frontend-Dateien oder Black und mypy für Python. So würden Formatierungs-, Syntax-, Typ- und Lint-Probleme direkt nach einer Änderung sichtbar. Der Autor behauptet, dadurch verkürze sich die Rückmeldung von Minuten auf Sekunden. Die Prüfungen seien an den jeweiligen Agenten gebunden, sodass beispielsweise Frontend- und Python-Agenten unterschiedliche Werkzeuge nutzen könnten.
Die zweite Stufe prüft die Vollständigkeit, wenn der Agent seine Arbeit beenden will. Ein `Stop`-Hook könne ein Skript starten, das erforderliche Dateien und Exporte kontrolliert. Fehlt etwas, blockiert es laut Beispiel den Abschluss und gibt einen Grund aus, sodass der Agent weiterarbeiten kann. Der Bericht betont, dass solche Prüfungen strukturelle Lücken erkennen sollen, die eine Dateiprüfung nach jeder einzelnen Änderung nicht erfasst. Genannt werden fehlende Dateien, unvollständige Implementierungen, leere Exporte und fehlschlagende Tests.
Als dritte Stufe schlägt der Autor einen separaten, nur lesenden Prüfagenten vor. Dieser soll geänderte Dateien prüfen, Exporte, Typsicherheit und Fehlerbehandlung beurteilen, Tests ausführen und Probleme mit Datei- und Zeilenangaben melden, ohne selbst Änderungen vorzunehmen. Über Aufgabenabhängigkeiten könne die Prüfung an den Abschluss eines Builder-Agenten geknüpft werden. Der Bericht bezeichnet dies als Builder-Validator-Muster und vergleicht es mit automatisierter kollegialer Prüfung.
Für kleine Aufgaben mit vorwiegendem Formatierungsrisiko empfiehlt der Text die erste Stufe. Bei mehrteiligen Aufgaben und wichtigen Tests sollen Mikro- und Makroprüfung kombiniert werden; für kritische Systeme zusätzlich der Prüfagent. Der Autor behauptet, Mikro- und Makroprüfung verhinderten 90 Prozent typischer Agentenfehler, nennt dafür aber keine Daten oder Messmethode. Als schrittweisen Einstieg empfiehlt er, zuerst einen Hook beim meistgenutzten Agenten einzurichten, bei unvollständiger Arbeit eine Abschlussprüfung hinzuzufügen und bei komplexeren Projekten einen Validator einzusetzen.
Der Bericht ist ein praxisorientierter Vorschlag mit Konfigurations- und Skriptbeispielen für Claude Code. Er dokumentiert keine Vergleichsstudie, Testergebnisse oder systematische Grenzen der gezeigten Umsetzung. Seine Aussagen zur Zuverlässigkeit und zur Fehlerquote sind daher als Behauptungen beziehungsweise Empfehlungen des Autors zu verstehen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Beide Zusammenfassungen von Luna geben den Bericht im Kern treu wieder, etwa die 90-Prozent-Behauptung ohne Beleg. Die Bewertung bezieht sich auf beide Fassungen zusammen. Die Einordnung stützt sich nur auf den Bericht und enthält keine Aussage über die Güte von Lunas Stufen.
Im Bericht, aber nicht in der Zusammenfassung
- Die Kernaussage, dass das eigentliche Risiko unvollständige Ausführung (vergessene Dateien, fehlende Exporte, Formatierungsfehler) und nicht falsche Logik ist
- Die Aussage, dass Validierung die Rückmeldezeit von etwa 15 bis 20 Minuten auf Sekunden verkürzt
- Der Orchestrator-Bezug des Builder-Validator-Musters über Aufgaben mit Abhängigkeiten (TaskCreate, addBlockedBy)
- Die Schlussfolgerung, dass eingebettete Hooks die meisten Probleme lösen, bevor der Validator den Code sieht, sodass sich der Validator auf Architektur und Integration konzentrieren kann
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 37 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 47 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4-T03 Welche neue Prüfung braucht jeder Einsatz, wenn Fähigkeiten zunehmend im Nachdenken des Modells während der Nutzung stecken statt in einem einmal trainierten Modell, und würden die für ein festes Modell gebauten Freigabetests das noch erfassen?
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 30 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 25 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %Hintergrund, keine Belege
- SubQ 28 %gleiches Oberthema, hilft nicht
- drex 29 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 57 %Hintergrund, keine Belege
- JEV 48 %beantwortet teilweise oder widerspricht
- amos 100 %kein Bezug
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 36 %gleiches Oberthema, hilft nicht
- Luna 58 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-T3-T07 Wenn mehrere Anbieter je verschiedene Stufen von Forschung, Training und Prüfung automatisieren und erst ihre ausgetauschten Ergebnisse zusammen einen Kreislauf der Selbstverbesserung schließen, ohne dass eine Firma den ganzen Ablauf betreibt: Welche Regel stellt diesen gemeinsamen Kreislauf unter Aufsicht?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 32 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 77 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 23 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 24 %gleiches Oberthema, hilft nicht
- Luna 37 %Hintergrund, keine Belege
- JEV 49 %beantwortet teilweise oder widerspricht
- amos 24 %Hintergrund, keine Belege
- SubQ 38 %gleiches Oberthema, hilft nicht
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 19 %beantwortet teilweise oder widerspricht
- Luna 59 %einzelne zitierbare Belege
- JEV 51 %beantwortet teilweise oder widerspricht
- amos 24 %einzelne zitierbare Belege
- SubQ 31 %gleiches Oberthema, hilft nicht
- drex 23 %gleiches Oberthema, hilft nicht
- d3-ultra 29 %Hintergrund, keine Belege
- Haiku-Prüfung Hintergrund, keine Belege
- SF-A1-T04 Bevor ein Agent weiterarbeitet, nachdem sein bisheriger Arbeitsverlauf für ein neues Kontextfenster zusammengefasst wurde: Wird geprüft, ob diese Zusammenfassung die Anweisungen des Nutzers, die Herkunft wichtiger Fakten und offene Fehler bewahrt? Und wird festgelegt, wann der Agent die Originalaufzeichnung prüfen muss, statt der Zusammenfassung zu vertrauen?
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 33 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 25 %nur am Rande erwähnt
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 29 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 63 %gleiches Oberthema, hilft nicht
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 39 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 45 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv