4 Hidden Bugs. 5 Pull Requests. Does Your AI Code Reviewer Pass?
Zusammenfassung
Kurz
Der Bericht beschreibt einen Benchmark mit vier eingebauten Codefehlern und einem fehlerfreien Diff, um Treffer, Fehlalarme, Belege, Korrekturvorschläge und Prüfzeit von KI-Code-Reviewern zu vergleichen. Der Autor weist darauf hin, dass fünf kurze Beispiele keine zuverlässige Aussage über komplexe Fehler in realen Repositories erlauben und keinen allgemeinen Sieger küren.
Mittel
Der Bericht schlägt einen kurzen Benchmark vor, um KI-Code-Reviewer anhand von vier gezielt eingebauten Fehlern und einem fehlerfreien Diff zu bewerten. Die Beispiele betreffen einen Off-by-one-Fehler, ein fehlendes Benutzerprofil, eine SQL-Injection und eine Race Condition bei Sitzplatzreservierungen. Beim fünften Beispiel, einer korrekt behandelten leeren Eingabe für eine Durchschnittsfunktion, sollen Fehlalarme sichtbar werden.
Eine vorgeschlagene Review-Spezifikation verlangt konkrete Belege: Datei, Zeile und auslösende Eingabe oder Bedingung. Für größere und kritische Befunde soll sie außerdem eine kleine Korrektur und einen Regressionstest fordern. Der Autor empfiehlt, jeden Diff mit derselben Aufforderung einmal ohne diese Regeln, einmal mit ihnen und gegebenenfalls mit weiteren Reviewern prüfen zu lassen. Erfasst werden gefundene Fehler, Fehlalarme, Korrektur- und Testvorschläge sowie die gemessene Zeit.
Der Autor sagt, er habe die Beispiele ausgeführt und den Sitzplatzfehler mit zwei Threads geprüft. Er betont jedoch, dass fünf kurze, isolierte Diffs eine kleine Stichprobe sind und keine Aussage über komplexe, dateiübergreifende Fehler erlauben. Der Benchmark soll Grundlagen vergleichen, keinen allgemeinen Sieger bestimmen.
Ausführlich lesen
Der Bericht stellt einen kleinen, in etwa zwei Stunden durchführbaren Test vor, mit dem sich KI-Code-Reviewer anhand bekannter Fehler bewerten lassen sollen. Statt die Länge oder den selbstsicheren Ton einer Prüfung als Qualitätsmaß zu nehmen, sollen Nutzer prüfen, ob der Reviewer konkrete Defekte mit nachvollziehbaren Belegen findet und bei fehlerfreiem Code keine Probleme erfindet.
Der Autor begründet den Ansatz damit, dass sich Fehler in echten Repositories schwer bewerten lassen, wenn die bekannten Defekte fehlen. Deshalb habe er vier Fehler gezielt in kurze Codeänderungen eingebaut und einen fünften, korrekten Änderungsdiff ergänzt. Laut Bericht führte er die Beispiele aus, um zu prüfen, ob sie jeweils wie beschrieben scheitern; beim Sitzplatzbeispiel habe er außerdem mit zwei Threads getestet, dass beide Anfragen bei nur einem verfügbaren Platz erfolgreich sein können.
Als Hilfsmittel schlägt der Text eine kurze Claude-Code-Review-Spezifikation vor. Sie verlangt, neben dem Diff auch berührten Code, Aufrufer und Tests zu lesen; Befunde müssen Datei, Zeile und auslösende Eingabe oder Bedingung nennen. Für schwerwiegende und größere Fehler soll die Prüfung außerdem eine möglichst kleine Korrektur und einen Regressionstest vorschlagen. Stilfragen sollen außen vor bleiben, und wenn nichts fehlerhaft ist, soll der Reviewer das ausdrücklich sagen und angeben, was er geprüft hat.
Die fünf Beispiele sind: eine Funktion, die wegen eines Indexfehlers bei `last_n` ein Element zu viel zurückgibt; ein Benutzernamen-Zugriff, der bei neuen Nutzern mit noch nicht angelegtem Profil abstürzt; eine per Zeichenkette zusammengesetzte SQL-Abfrage, die laut Autor durch eine präparierte E-Mail-Adresse manipuliert werden kann; eine Sitzplatzreservierung ohne atomare Prüfung und Aktualisierung, die doppelte Buchungen ermöglichen kann; sowie eine Durchschnittsfunktion, die leere Eingaben dokumentiert und mit `0.0` behandelt. Beim letzten Beispiel wäre eine gemeldete kritische Beanstandung dem Bericht zufolge ein Fehlalarm.
Zum Vergleich soll man jeden Diff mit derselben Aufforderung prüfen lassen: einmal mit Claude Code ohne die Spezifikation, einmal mit ihr und optional mit weiteren Reviewern. Festgehalten werden sollen die Zahl der gefundenen Fehler von vier, Fehlalarme, Qualität von Korrekturvorschlägen samt Tests sowie die tatsächlich gemessene Laufzeit. Laufzeit und Qualitätsurteil sollen getrennt bleiben.
Der Autor schränkt ausdrücklich ein, dass fünf kurze, isolierte Beispiele nur eine kleine Stichprobe darstellen und eingepflanzte Fehler leichter zu finden sein können als Defekte, die sich über mehrere Dateien erstrecken. Selbst vier Treffer von vier bewiesen daher nicht, dass ein Reviewer komplexe reale Fehler zuverlässig findet, und der Test kürt laut Autor keinen allgemeinen Sieger. Er soll vor allem zeigen, ob Befunde belegt sind. Die weitergehenden Aussagen, dass evidenzbasierte Vorgaben vage Warnungen verringern und künftig Prüfbarkeit wichtiger sein könnte als die Wahl des Modells, sind Einschätzungen des Autors. Der Bericht enthält zudem Werbung für dessen Newsletter und ein kostenpflichtiges Playbook.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassungen geben den Bericht im Wesentlichen treu wieder; es fehlen nur die Kernaussage zu Belegen statt Meinungen und die genaue Regelstruktur des Skills. Alle sechs Fragen liegen außerhalb des Berichtsthemas, daher ist keine Frage belegt; Lunas Stufen 3 und 4 für SF-P3, SF-T1 und SF-V5 sind durch den Bericht nicht gedeckt.
Im Bericht, aber nicht in der Zusammenfassung
- Der Bericht betont, dass Belege statt Meinungen den Unterschied machen und dass lange, gründliche Reviews nicht besser sein müssen.
- Die vorgeschlagene Spezifikation (SKILL.md mit sieben Regeln, u. a. „Kein Beleg, kein Befund“ und „No defects found“ als erlaubte Antwort) wird nur grob umschrieben.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %gleiches Oberthema, hilft nicht
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 23 %einzelne zitierbare Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 52 %einzelne zitierbare Belege
- JEV 37 %beantwortet teilweise oder widerspricht
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T04 Wer prüft die KI-Modelle, die andere Modelle prüfen, auf Anweisungen, Versionen und Fehlerfälle, und welche unabhängige Prüfung zeigt, dass das geprüfte Modell sie nicht manipulieren kann, besonders wenn sie aus derselben Modellfamilie stammen? Und wenn gemeinsame Tests, Schweregrade und die Ersteinstufung von Meldungen von Sprachmodellen entworfen, durchgeführt und zusammengefasst werden: Nimmt jeder Staat einen Prüfmechanismus an, dessen Kernbausteine aus ausländischen Laboren stammen?
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 38 %einzelne zitierbare Belege
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus?
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 43 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 20 %beantwortet teilweise oder widerspricht
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 23 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 31 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 26 %Hintergrund, keine Belege
- JEV 20 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 61 %gleiches Oberthema, hilft nicht
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 40 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 21 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv