Rails testing on autopilot: Building an agent that writes what developers won't
Zusammenfassung
Kurz
Die Autoren berichten über einen auf Vibe aufgebauten Rails-Agenten, der RSpec-Tests dateitypspezifisch erstellt oder verbessert und sie mit RuboCop und SimpleCov prüft. In einem Repository mit 275 Quelldateien habe er laut Bericht 100 Prozent Testabdeckung erreicht und den LLM-basierten Qualitätswert von 0,49 auf 0,74 gesteigert; die Autoren betonen jedoch, dass Sprachmodellbewertungen schwanken und nicht belegen, dass Tests tatsächlich ausführbar sind.
Mittel
Der Bericht stellt einen autonomen Agenten vor, der RSpec-Tests für Ruby-on-Rails-Code erstellt oder verbessert. Die Autoren sagen, dass er Quelldateien den üblichen Spec-Dateien zuordnet, je nach Dateityp eigene Anweisungen nutzt und geteilte Factories und Fixtures vorsichtig behandelt. Er wurde auf Mistrals offenem Coding-Assistenten Vibe aufgebaut und arbeitet mit Repository-Anweisungen, spezialisierten Skills sowie RuboCop- und SimpleCov-Werkzeugen. SimpleCov führt die Tests aus und meldet Fehler und nicht abgedeckte Zeilen. Laut Autoren bestanden zunächst nur etwa ein Drittel der Tests beim ersten Lauf; der Agent korrigierte die Fehler anschließend selbst.
In einem Repository mit 275 Quelldateien, ungefähr der Hälfte zuvor ohne Tests, wurden alle Dateien bearbeitet. Die Autoren berichten von einer Verbesserung des LLM-basierten Qualitätswerts von 0,49 auf 0,74, 100 Prozent Abdeckung und bestandenen Tests sowie null RuboCop-Verstößen nach Selbstkorrektur. Modelle und Serializer schnitten in der Bewertung besser ab als Controller. Die Autoren warnen, dass ein Sprachmodell nicht zuverlässig erkennt, ob ein Test tatsächlich läuft, und dass seine Bewertungen schwanken und weniger maßgeblich als Werkzeugausgaben oder eine gründliche Prüfung durch Entwickler sind. Die Ergebnisse stammen aus dem beschriebenen Experiment.
Ausführlich lesen
Der Bericht beschreibt einen autonomen Agenten, der fehlende oder schwache RSpec-Tests in großen Ruby-on-Rails-Codebasen ergänzen und verbessern soll. Die Autoren begründen den Bedarf damit, dass Teams neue Funktionen oft gegenüber Tests priorisierten und dadurch mehr Code ungetestet bleibe, was das Debuggen erschwere. Der Agent liest Rails-Quelldateien, erstellt oder überarbeitet passende Tests, prüft Stil und Abdeckung und soll ohne menschliches Eingreifen in CI/CD laufen. Für große Repositories arbeiten mehrere Agenten parallel an unterschiedlichen Dateien.
Die Autoren berichten, dass der Agent fünf Arten von Rails-Dateien unterscheidet: Modelle, Serializer, Controller, Mailer und Helper. Für jede Art seien eigene Testanweisungen nötig. Da Quelldateien meist nach einer annähernden Eins-zu-eins-Konvention auf Spec-Dateien abgebildet würden, lasse sich erkennen, wo Tests liegen oder fehlen. Ausnahmen gebe es etwa bei Controllern, deren Tests unter Requests liegen können, sowie bei mehreren Specs für eine Quelldatei. Zusätzliche Schwierigkeit entstehe durch gemeinsam genutzte Factories und Fixtures: Fehle eine Factory, könne der Agent sie anlegen; andernfalls solle er sie wiederverwenden und Änderungen vorsichtig vornehmen, weil sie viele Tests beeinflussen könnten.
Der Agent wurde laut Bericht auf Mistrals offenem Coding-Assistenten Vibe aufgebaut. Die Autoren konzentrierten sich auf Repository-Kontext, dateitypspezifische Skills und eigene Werkzeuge. Eine AGENTS.md-Datei gab einen Ablauf vor: Quelldatei und vorhandene Dokumentation lesen, bestehende Specs und Muster prüfen, genau einen passenden Skill auswählen, Tests erstellen und anschließend RuboCop sowie SimpleCov ausführen. Eine verpflichtende Selbstprüfung sollte sicherstellen, dass alle öffentlichen Methoden berücksichtigt wurden. Die Autoren geben an, dass diese Anweisungen ihren Qualitätswert von 0,68 auf 0,74 erhöhten.
RuboCop prüfte Stilregeln. Ein mit RSpec verbundenes SimpleCov-Werkzeug führte die Tests aus und meldete Fehlschläge sowie nicht abgedeckte Quellzeilen zurück. Nach Darstellung der Autoren bestanden anfangs nur etwa ein Drittel der generierten Tests beim ersten Lauf; der Agent korrigierte die Fehler nach wenigen Durchläufen. Sie betonen, dass eine gute Bewertung durch ein Sprachmodell nicht beweist, dass ein Test syntaktisch korrekt ist oder überhaupt läuft. Ihr Beispiel eines Tests mit fehlender Klammer erhielt im Mittel eine Bewertung von 0,75, obwohl er nicht ausführbar war.
In einem Experiment bearbeitete der Agent alle 275 Quelldateien eines Repositories, von denen etwa die Hälfte bereits Tests hatte. Laut Bericht erreichten die getesteten Dateien zusammen eine Bewertung von 0,49 vor und 0,74 nach der Überarbeitung; die Abdeckung stieg auf 100 Prozent. Angegeben werden außerdem 100 Prozent bestandene Tests und keine RuboCop-Verstöße nach der Selbstkorrektur. Modelle erzielten 0,81, Serializer 0,80 und Controller 0,67. Der Bericht nennt keine getrennten Werte für Mailer und Helper.
Die Autoren schränken ein, dass Sprachmodellbewertungen weniger verlässlich als Werkzeugausgaben oder eine gründliche Entwicklerprüfung seien und trotz Temperatureinstellung nicht völlig deterministisch ausfielen. Sie hielten die Schwankungen bei der Bewertung vieler Tests jedoch für vertretbar, weil der Gesamtwert stabil geblieben sei. Die Ergebnisse beziehen sich auf das beschriebene Experiment und belegen keine allgemeine Leistung für andere Repositories.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Der Bericht ist ein Praxisbericht über einen Rails-Testagenten auf Basis von Vibe und hat mit den gefragten Sicherheitsfragen kaum Berührungspunkte, weshalb die Einordnungen niedrig ausfallen; die Zusammenfassung von Luna ist im Kern treu, lässt aber die Anleitungsdatei, die Skills und die Werkzeuge als Kernbestandteile aus.
Im Bericht, aber nicht in der Zusammenfassung
- Die Vorgabe per AGENTS.md mit Schritt-für-Schritt-Plan und Selbstprüfung, die den Qualitätswert von 0,68 auf 0,74 gehoben haben soll
- Dateitypspezifische Skills und die eigenen RuboCop- und SimpleCov-Werkzeuge als zentrale Hebel des Ansatzes
- Die Aussage, dass die Ausführung der Tests als letzter Schritt die wirksamste Einzelentscheidung war
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 28 %gleiches Oberthema, hilft nicht
- JEV 32 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 45 %umfangreiche Belege
- JEV 24 %beantwortet teilweise oder widerspricht
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 28 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 47 %einzelne zitierbare Belege
- JEV 36 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 39 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 22 %gleiches Oberthema, hilft nicht
- Luna 33 %einzelne zitierbare Belege
- JEV 38 %beantwortet teilweise oder widerspricht
- amos 28 %einzelne zitierbare Belege
- SubQ 38 %gleiches Oberthema, hilft nicht
- drex 29 %gleiches Oberthema, hilft nicht
- d3-ultra 36 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 33 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 33 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 37 %nur am Rande erwähnt
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %beantwortet teilweise oder widerspricht
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 32 %gleiches Oberthema, hilft nicht
- JEV 36 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %einzelne zitierbare Belege
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv