Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
mistral11. März 2026 · Q001627

Rails testing on autopilot: Building an agent that writes what developers won't

mistral.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Die Autoren berichten über einen auf Vibe aufgebauten Rails-Agenten, der RSpec-Tests dateitypspezifisch erstellt oder verbessert und sie mit RuboCop und SimpleCov prüft. In einem Repository mit 275 Quelldateien habe er laut Bericht 100 Prozent Testabdeckung erreicht und den LLM-basierten Qualitätswert von 0,49 auf 0,74 gesteigert; die Autoren betonen jedoch, dass Sprachmodellbewertungen schwanken und nicht belegen, dass Tests tatsächlich ausführbar sind.

Mittel

Der Bericht stellt einen autonomen Agenten vor, der RSpec-Tests für Ruby-on-Rails-Code erstellt oder verbessert. Die Autoren sagen, dass er Quelldateien den üblichen Spec-Dateien zuordnet, je nach Dateityp eigene Anweisungen nutzt und geteilte Factories und Fixtures vorsichtig behandelt. Er wurde auf Mistrals offenem Coding-Assistenten Vibe aufgebaut und arbeitet mit Repository-Anweisungen, spezialisierten Skills sowie RuboCop- und SimpleCov-Werkzeugen. SimpleCov führt die Tests aus und meldet Fehler und nicht abgedeckte Zeilen. Laut Autoren bestanden zunächst nur etwa ein Drittel der Tests beim ersten Lauf; der Agent korrigierte die Fehler anschließend selbst.

In einem Repository mit 275 Quelldateien, ungefähr der Hälfte zuvor ohne Tests, wurden alle Dateien bearbeitet. Die Autoren berichten von einer Verbesserung des LLM-basierten Qualitätswerts von 0,49 auf 0,74, 100 Prozent Abdeckung und bestandenen Tests sowie null RuboCop-Verstößen nach Selbstkorrektur. Modelle und Serializer schnitten in der Bewertung besser ab als Controller. Die Autoren warnen, dass ein Sprachmodell nicht zuverlässig erkennt, ob ein Test tatsächlich läuft, und dass seine Bewertungen schwanken und weniger maßgeblich als Werkzeugausgaben oder eine gründliche Prüfung durch Entwickler sind. Die Ergebnisse stammen aus dem beschriebenen Experiment.

Ausführlich lesen

Der Bericht beschreibt einen autonomen Agenten, der fehlende oder schwache RSpec-Tests in großen Ruby-on-Rails-Codebasen ergänzen und verbessern soll. Die Autoren begründen den Bedarf damit, dass Teams neue Funktionen oft gegenüber Tests priorisierten und dadurch mehr Code ungetestet bleibe, was das Debuggen erschwere. Der Agent liest Rails-Quelldateien, erstellt oder überarbeitet passende Tests, prüft Stil und Abdeckung und soll ohne menschliches Eingreifen in CI/CD laufen. Für große Repositories arbeiten mehrere Agenten parallel an unterschiedlichen Dateien.

Die Autoren berichten, dass der Agent fünf Arten von Rails-Dateien unterscheidet: Modelle, Serializer, Controller, Mailer und Helper. Für jede Art seien eigene Testanweisungen nötig. Da Quelldateien meist nach einer annähernden Eins-zu-eins-Konvention auf Spec-Dateien abgebildet würden, lasse sich erkennen, wo Tests liegen oder fehlen. Ausnahmen gebe es etwa bei Controllern, deren Tests unter Requests liegen können, sowie bei mehreren Specs für eine Quelldatei. Zusätzliche Schwierigkeit entstehe durch gemeinsam genutzte Factories und Fixtures: Fehle eine Factory, könne der Agent sie anlegen; andernfalls solle er sie wiederverwenden und Änderungen vorsichtig vornehmen, weil sie viele Tests beeinflussen könnten.

Der Agent wurde laut Bericht auf Mistrals offenem Coding-Assistenten Vibe aufgebaut. Die Autoren konzentrierten sich auf Repository-Kontext, dateitypspezifische Skills und eigene Werkzeuge. Eine AGENTS.md-Datei gab einen Ablauf vor: Quelldatei und vorhandene Dokumentation lesen, bestehende Specs und Muster prüfen, genau einen passenden Skill auswählen, Tests erstellen und anschließend RuboCop sowie SimpleCov ausführen. Eine verpflichtende Selbstprüfung sollte sicherstellen, dass alle öffentlichen Methoden berücksichtigt wurden. Die Autoren geben an, dass diese Anweisungen ihren Qualitätswert von 0,68 auf 0,74 erhöhten.

RuboCop prüfte Stilregeln. Ein mit RSpec verbundenes SimpleCov-Werkzeug führte die Tests aus und meldete Fehlschläge sowie nicht abgedeckte Quellzeilen zurück. Nach Darstellung der Autoren bestanden anfangs nur etwa ein Drittel der generierten Tests beim ersten Lauf; der Agent korrigierte die Fehler nach wenigen Durchläufen. Sie betonen, dass eine gute Bewertung durch ein Sprachmodell nicht beweist, dass ein Test syntaktisch korrekt ist oder überhaupt läuft. Ihr Beispiel eines Tests mit fehlender Klammer erhielt im Mittel eine Bewertung von 0,75, obwohl er nicht ausführbar war.

In einem Experiment bearbeitete der Agent alle 275 Quelldateien eines Repositories, von denen etwa die Hälfte bereits Tests hatte. Laut Bericht erreichten die getesteten Dateien zusammen eine Bewertung von 0,49 vor und 0,74 nach der Überarbeitung; die Abdeckung stieg auf 100 Prozent. Angegeben werden außerdem 100 Prozent bestandene Tests und keine RuboCop-Verstöße nach der Selbstkorrektur. Modelle erzielten 0,81, Serializer 0,80 und Controller 0,67. Der Bericht nennt keine getrennten Werte für Mailer und Helper.

Die Autoren schränken ein, dass Sprachmodellbewertungen weniger verlässlich als Werkzeugausgaben oder eine gründliche Entwicklerprüfung seien und trotz Temperatureinstellung nicht völlig deterministisch ausfielen. Sie hielten die Schwankungen bei der Bewertung vieler Tests jedoch für vertretbar, weil der Gesamtwert stabil geblieben sei. Die Ergebnisse beziehen sich auf das beschriebene Experiment und belegen keine allgemeine Leistung für andere Repositories.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Der Bericht ist ein Praxisbericht über einen Rails-Testagenten auf Basis von Vibe und hat mit den gefragten Sicherheitsfragen kaum Berührungspunkte, weshalb die Einordnungen niedrig ausfallen; die Zusammenfassung von Luna ist im Kern treu, lässt aber die Anleitungsdatei, die Skills und die Werkzeuge als Kernbestandteile aus.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Vorgabe per AGENTS.md mit Schritt-für-Schritt-Plan und Selbstprüfung, die den Qualitätswert von 0,68 auf 0,74 gehoben haben soll
  • Dateitypspezifische Skills und die eigenen RuboCop- und SimpleCov-Werkzeuge als zentrale Hebel des Ansatzes
  • Die Aussage, dass die Ausführung der Tests als letzter Schritt die wirksamste Einzelentscheidung war

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 28 %gleiches Oberthema, hilft nicht
    • JEV 32 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 45 %umfangreiche Belege
    • JEV 24 %beantwortet teilweise oder widerspricht
    • amos 25 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 28 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 47 %einzelne zitierbare Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 39 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %einzelne zitierbare Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 22 %gleiches Oberthema, hilft nicht
    • Luna 33 %einzelne zitierbare Belege
    • JEV 38 %beantwortet teilweise oder widerspricht
    • amos 28 %einzelne zitierbare Belege
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 36 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %beantwortet teilweise oder widerspricht
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 32 %gleiches Oberthema, hilft nicht
    • JEV 36 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 22 %einzelne zitierbare Belege
    • amos 57 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →