Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com14. Oktober 2026 · Q010863

4 Hidden Bugs. 5 Pull Requests. Does Your AI Code Reviewer Pass?

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt einen Benchmark mit vier eingebauten Codefehlern und einem fehlerfreien Diff, um Treffer, Fehlalarme, Belege, Korrekturvorschläge und Prüfzeit von KI-Code-Reviewern zu vergleichen. Der Autor weist darauf hin, dass fünf kurze Beispiele keine zuverlässige Aussage über komplexe Fehler in realen Repositories erlauben und keinen allgemeinen Sieger küren.

Mittel

Der Bericht schlägt einen kurzen Benchmark vor, um KI-Code-Reviewer anhand von vier gezielt eingebauten Fehlern und einem fehlerfreien Diff zu bewerten. Die Beispiele betreffen einen Off-by-one-Fehler, ein fehlendes Benutzerprofil, eine SQL-Injection und eine Race Condition bei Sitzplatzreservierungen. Beim fünften Beispiel, einer korrekt behandelten leeren Eingabe für eine Durchschnittsfunktion, sollen Fehlalarme sichtbar werden.

Eine vorgeschlagene Review-Spezifikation verlangt konkrete Belege: Datei, Zeile und auslösende Eingabe oder Bedingung. Für größere und kritische Befunde soll sie außerdem eine kleine Korrektur und einen Regressionstest fordern. Der Autor empfiehlt, jeden Diff mit derselben Aufforderung einmal ohne diese Regeln, einmal mit ihnen und gegebenenfalls mit weiteren Reviewern prüfen zu lassen. Erfasst werden gefundene Fehler, Fehlalarme, Korrektur- und Testvorschläge sowie die gemessene Zeit.

Der Autor sagt, er habe die Beispiele ausgeführt und den Sitzplatzfehler mit zwei Threads geprüft. Er betont jedoch, dass fünf kurze, isolierte Diffs eine kleine Stichprobe sind und keine Aussage über komplexe, dateiübergreifende Fehler erlauben. Der Benchmark soll Grundlagen vergleichen, keinen allgemeinen Sieger bestimmen.

Ausführlich lesen

Der Bericht stellt einen kleinen, in etwa zwei Stunden durchführbaren Test vor, mit dem sich KI-Code-Reviewer anhand bekannter Fehler bewerten lassen sollen. Statt die Länge oder den selbstsicheren Ton einer Prüfung als Qualitätsmaß zu nehmen, sollen Nutzer prüfen, ob der Reviewer konkrete Defekte mit nachvollziehbaren Belegen findet und bei fehlerfreiem Code keine Probleme erfindet.

Der Autor begründet den Ansatz damit, dass sich Fehler in echten Repositories schwer bewerten lassen, wenn die bekannten Defekte fehlen. Deshalb habe er vier Fehler gezielt in kurze Codeänderungen eingebaut und einen fünften, korrekten Änderungsdiff ergänzt. Laut Bericht führte er die Beispiele aus, um zu prüfen, ob sie jeweils wie beschrieben scheitern; beim Sitzplatzbeispiel habe er außerdem mit zwei Threads getestet, dass beide Anfragen bei nur einem verfügbaren Platz erfolgreich sein können.

Als Hilfsmittel schlägt der Text eine kurze Claude-Code-Review-Spezifikation vor. Sie verlangt, neben dem Diff auch berührten Code, Aufrufer und Tests zu lesen; Befunde müssen Datei, Zeile und auslösende Eingabe oder Bedingung nennen. Für schwerwiegende und größere Fehler soll die Prüfung außerdem eine möglichst kleine Korrektur und einen Regressionstest vorschlagen. Stilfragen sollen außen vor bleiben, und wenn nichts fehlerhaft ist, soll der Reviewer das ausdrücklich sagen und angeben, was er geprüft hat.

Die fünf Beispiele sind: eine Funktion, die wegen eines Indexfehlers bei `last_n` ein Element zu viel zurückgibt; ein Benutzernamen-Zugriff, der bei neuen Nutzern mit noch nicht angelegtem Profil abstürzt; eine per Zeichenkette zusammengesetzte SQL-Abfrage, die laut Autor durch eine präparierte E-Mail-Adresse manipuliert werden kann; eine Sitzplatzreservierung ohne atomare Prüfung und Aktualisierung, die doppelte Buchungen ermöglichen kann; sowie eine Durchschnittsfunktion, die leere Eingaben dokumentiert und mit `0.0` behandelt. Beim letzten Beispiel wäre eine gemeldete kritische Beanstandung dem Bericht zufolge ein Fehlalarm.

Zum Vergleich soll man jeden Diff mit derselben Aufforderung prüfen lassen: einmal mit Claude Code ohne die Spezifikation, einmal mit ihr und optional mit weiteren Reviewern. Festgehalten werden sollen die Zahl der gefundenen Fehler von vier, Fehlalarme, Qualität von Korrekturvorschlägen samt Tests sowie die tatsächlich gemessene Laufzeit. Laufzeit und Qualitätsurteil sollen getrennt bleiben.

Der Autor schränkt ausdrücklich ein, dass fünf kurze, isolierte Beispiele nur eine kleine Stichprobe darstellen und eingepflanzte Fehler leichter zu finden sein können als Defekte, die sich über mehrere Dateien erstrecken. Selbst vier Treffer von vier bewiesen daher nicht, dass ein Reviewer komplexe reale Fehler zuverlässig findet, und der Test kürt laut Autor keinen allgemeinen Sieger. Er soll vor allem zeigen, ob Befunde belegt sind. Die weitergehenden Aussagen, dass evidenzbasierte Vorgaben vage Warnungen verringern und künftig Prüfbarkeit wichtiger sein könnte als die Wahl des Modells, sind Einschätzungen des Autors. Der Bericht enthält zudem Werbung für dessen Newsletter und ein kostenpflichtiges Playbook.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassungen geben den Bericht im Wesentlichen treu wieder; es fehlen nur die Kernaussage zu Belegen statt Meinungen und die genaue Regelstruktur des Skills. Alle sechs Fragen liegen außerhalb des Berichtsthemas, daher ist keine Frage belegt; Lunas Stufen 3 und 4 für SF-P3, SF-T1 und SF-V5 sind durch den Bericht nicht gedeckt.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Bericht betont, dass Belege statt Meinungen den Unterschied machen und dass lange, gründliche Reviews nicht besser sein müssen.
  • Die vorgeschlagene Spezifikation (SKILL.md mit sieben Regeln, u. a. „Kein Beleg, kein Befund“ und „No defects found“ als erlaubte Antwort) wird nur grob umschrieben.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %einzelne zitierbare Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 52 %einzelne zitierbare Belege
    • JEV 37 %beantwortet teilweise oder widerspricht
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 38 %einzelne zitierbare Belege
    • JEV 29 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 20 %beantwortet teilweise oder widerspricht
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung kein Bezug
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 26 %Hintergrund, keine Belege
    • JEV 20 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 21 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →