An AI Agent Designed My Database. It Passed Every Test and Still Crawled in Production
Zusammenfassung
Kurz
Der Autor schildert, dass eine KI-generierte PostgreSQL-Migration ohne Index auf der Fremdschlüsselspalte bei Millionen Bestellungen zu einer sehr langsamen Abfrage führte, obwohl sie lokal und in Tests unauffällig war. Er empfiehlt, fehlende Fremdschlüsselindizes und Abfragepläne gezielt zu prüfen; die passende Indexgestaltung hängt vom tatsächlichen Zugriffsmuster ab. Als verwandtes Problem nennt er N+1-Abfragen und empfiehlt in diesem Fall einen Join.
Mittel
Der Autor berichtet, dass eine KI-generierte PostgreSQL-Migration mit Kunden- und Bestellungen-Tabelle auf einer kleinen lokalen Datenbank problemlos lief, im Staging mit über vier Millionen Bestellungen aber eine Abfrage elf Sekunden dauerte. Als Ursache nennt er den fehlenden Index auf `orders.customer_id`: Ein Fremdschlüssel sichert die Beziehung, erzeugt in PostgreSQL laut Beitrag jedoch nicht automatisch einen Index auf der referenzierenden Spalte. Ohne Index musste die Datenbank Millionen Zeilen durchsuchen; mit Index fand sie die gesuchten Bestellungen laut den gezeigten Plänen in einem Bruchteil einer Millisekunde. Auch Kundenlöschungen könnten ohne diesen Index langsamer werden.
Der Autor sagt, mehrere getestete Coding-Agenten ließen solche Indizes häufig aus. Er vermutet, dass verbreitete MySQL-Beispiele, bei denen InnoDB Fremdschlüsselindizes automatisch anlegt, dazu beitragen. Außerdem kennen Agenten weder reale Datenmengen noch konkrete Abfragemuster. Als Gegenmittel empfiehlt er eine Katalogabfrage auf nicht indizierte Fremdschlüssel sowie `EXPLAIN ANALYZE` für wichtige Abfragen. Ein einfacher Index sei ein guter Anfang; die passende zusammengesetzte Variante hänge vom tatsächlichen Zugriff ab. Als verwandte Schwäche beschreibt er N+1-Abfragen, die sich durch einen Join vermeiden lassen. Seine Beispiele sind Erfahrungsberichte und keine allgemeine Messung aller Agenten oder Systeme.
Ausführlich lesen
Der Autor beschreibt, wie eine von einem KI-Agenten erzeugte PostgreSQL-Migration zunächst korrekt wirkte und alle Tests bestand, in einer größeren Umgebung aber zu erheblichen Verzögerungen führte. Die Anwendung verwaltete Kunden und Bestellungen. Auf einer lokalen Datenbank mit einigen hundert Testzeilen lud die Bestellhistorie laut Bericht sofort; im Staging mit mehr als vier Millionen Bestellungen dauerte dieselbe Abfrage elf Sekunden.
Als Ursache identifiziert der Autor einen fehlenden Index auf `orders.customer_id`. Der Fremdschlüssel stellt sicher, dass jede Bestellung auf einen vorhandenen Kunden verweist, legt laut Bericht in PostgreSQL aber nicht automatisch einen Index auf der referenzierenden Spalte an. Ein gezeigter Abfrageplan liest deshalb bei der Suche nach neun Bestellungen rund vier Millionen Zeilen per sequenziellem Scan. Nach Ergänzung eines Indexes findet ein Index-Scan die passenden Zeilen; der Autor berichtet von einer Laufzeit im Bruchteil einer Millisekunde. Auch beim Löschen von Kunden könne der fehlende Index teuer werden: PostgreSQL müsse prüfen, ob noch Bestellungen auf den Kunden verweisen, und dabei unter Umständen die Bestellungen-Tabelle vollständig durchsuchen.
Der Autor sagt, er habe das Verhalten mit mehreren aktuellen Modellen geprüft. Seiner Einschätzung nach erzeugten diese häufig Fremdschlüssel ohne passende Indizes. Als mögliche Erklärung nennt er, dass Trainingsbeispiele oft MySQL mit InnoDB abbildeten, wo Indizes auf Fremdschlüsselspalten automatisch erstellt würden, während PostgreSQL und SQL Server dies nicht täten. Außerdem fehlten Agenten Informationen über konkrete Datenmengen, Beziehungshäufigkeiten und tatsächliche Abfragemuster. Die fertige Migration könne daher lokal plausibel und korrekt erscheinen, ohne für die spätere Last passend zu sein. Der Beitrag verweist ergänzend auf eine Studie aus 2024 zu selbstsicher bewerteter, aber weniger sicherer, KI-unterstützter Programmierung; weitere Einzelheiten zu dieser Studie liefert der Text nicht.
Als Kontrolle empfiehlt der Autor, nach Migrationen eine Abfrage auf den PostgreSQL-Systemkatalogen auszuführen, die Fremdschlüsselspalten ohne führenden Index auflistet, und neue wichtige Abfragen mit `EXPLAIN ANALYZE` zu prüfen. Ein einfacher Index auf der Fremdschlüsselspalte sei ein guter Ausgangspunkt. Er betont jedoch, dass die optimale Wahl vom Zugriffsmuster abhängt: Wenn nach Kunde gefiltert und anschließend nach Datum sortiert wird, könne etwa ein zusammengesetzter Index auf `(customer_id, created_at)` besser passen.
Als verwandtes Beispiel nennt der Autor das N+1-Abfrageproblem: Eine Abfrage lädt alle Bestellungen, danach wird für jede einzelne Bestellung separat der Kundenname abgefragt. Das kann bei vielen Zeilen sehr viele Datenbank-Rundreisen verursachen; ein Join könne die benötigten Daten in einer Abfrage holen. Der Beitrag führt beide Probleme auf fehlendes Wissen über Datenmaßstab und Zugriffsmuster zurück. Der Autor empfiehlt weiterhin, Agenten für Schemaarbeit einzusetzen, Migrationen aber gezielt auf Indizes, Datentypen – besonders bei Geld und Zeit – und erwartete Abfragen zu prüfen. Die berichteten Laufzeiten und Beobachtungen stammen aus seinen Beispielen und Tests; sie belegen nicht, dass jeder Agent oder jede Datenbank dieselben Ergebnisse zeigt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna lieferte zwei Zusammenfassungen (kurz und mittel). Die Bewertung oben bezieht sich auf die mittlere Fassung. Die kurze Fassung ist ebenfalls treu, nennt den Mechanismus fehlender Fremdschlüsselindizes aber nur knapp und lässt die MySQL-Erklärung und die Katalogprüfung aus.
Im Bericht, aber nicht in der Zusammenfassung
- Die Stanford-Studie von 2024 zu unsichererem KI-Code bei höherem Vertrauen der Entwickler
- Der Autor nutzt Coding-Agenten weiterhin und sieht sie als nützlich, die Prüfung der Migrationen wird aber zum Kernpunkt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %beantwortet teilweise oder widerspricht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 39 %gleiches Oberthema, hilft nicht
- JEV 27 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 53 %beantwortet teilweise oder widerspricht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 32 %beantwortet teilweise oder widerspricht
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 31 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 49 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 59 %beantwortet teilweise oder widerspricht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv