Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com16. August 2026 · Q011219

7 Rules for Self-Improving AI Agent Loops Every AI Engineer Should Know

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Code Coup zufolge hängt die Qualität selbstverbessernder Agenten vor allem davon ab, was ihre Tests und Bewertungsmaßstäbe belohnen. Der Beitrag empfiehlt konkrete, schrittweise Tests, erklärende Bewertungen, geschützte Kriterien und eine Diagnose der Fehler, bevor Prompts optimiert werden; die Regeln werden als Empfehlungen dargestellt, nicht durch Vergleichsdaten belegt.

Mittel

Der Beitrag von Code Coup beschreibt die Evaluation als entscheidenden Teil selbstverbessernder KI-Agenten. Solche Systeme können Änderungen vorschlagen, Tests ausführen und weiter iterieren. Sie verbessern jedoch den Messwert, den man ihnen vorgibt – auch wenn dieser nicht mit besserem Verhalten für Nutzer übereinstimmt. Deshalb müsse zuerst geklärt werden, woran tatsächlicher Fortschritt erkennbar ist.

Der Autor empfiehlt sieben Vorgehensweisen: mit einem konkreten Fehler beginnen und schrittweise weitere Fälle ergänzen; Bewertungen durch Erklärungen statt bloßer Punktzahlen ergänzen; eindeutig prüfbare Anforderungen mit Code testen; Ergebnisse statt unnötig starrer Abläufe bewerten; schwankende Tests als mögliche Hinweise auf Instabilität untersuchen; Bewertungsmaßstäbe und zurückgehaltene Testfälle vor Änderungen durch den Agenten schützen; und Prompt-Optimierung erst nach der Diagnose echter Verhaltensprobleme angehen. Fehlende Werkzeuge oder falsche Zustände würden nicht durch hübschere Formulierungen behoben.

Als Beispiel führt der Text eine Schleife aus Testausführung, Bewertung und Versionsvergleich mit Googles `agents-cli` an. Die Regeln sind Empfehlungen des Autors; systematische Vergleichsdaten oder ein allgemeiner Wirksamkeitsnachweis werden nicht vorgelegt.

Ausführlich lesen

Der Beitrag von Code Coup behandelt die zentrale Herausforderung beim Aufbau selbstverbessernder KI-Agenten: festzulegen, woran echte Verbesserung gemessen wird. Ein Agent kann Code oder Anweisungen ändern, Tests ausführen, Fehler untersuchen und weitere Änderungen vorschlagen. Doch er optimiert das, was die Evaluation belohnt. Sind Metriken oder Testfälle schlecht gewählt, kann der Messwert steigen, während das Verhalten für Nutzer schlechter wird. Der Beitrag stellt deshalb die Definition von Qualität und die Auswertung als Kernaufgaben der Entwicklung dar.

Als typischen Ablauf beschreibt der Autor: Ziel und Metrik festlegen, Testfälle ausführen, Ergebnisse bewerten, Fehler erklären lassen, Änderungen vornehmen und Versionen vergleichen. Als Beispiel nennt er Googles `agents-cli` auf Basis des Agent Development Kit, mit Befehlen zum Erzeugen von Traces, Bewerten und Vergleichen. Das illustriert einen möglichen Arbeitsablauf; der Text liefert dazu keine vergleichenden Leistungsdaten.

Die sieben Regeln des Beitrags lauten sinngemäß:

1. Mit einem einzelnen, klar beschriebenen Fehler beginnen und nach dessen Behebung schrittweise weitere Fälle ergänzen. Viele gleichzeitige Fehler könnten die Prioritäten verschleiern. 2. Bewertungen sollen neben einer Punktzahl eine nachvollziehbare Fehlerbegründung liefern, damit die nächste Änderung gezielt ansetzen kann. 3. Eindeutig prüfbare Anforderungen, etwa eine bestimmte Werkzeugreihenfolge oder ein Pflichtfeld, mit normalem Code kontrollieren. Sprachmodelle als Bewertende seien eher für qualitative Fragen wie Verständlichkeit oder Einfühlungsvermögen geeignet. 4. Das Ergebnis und das tatsächlich erforderliche Verhalten bewerten, nicht pauschal einen einzigen vorgegebenen Ablauf. Eine Reihenfolge sei dann verbindlich, wenn sie selbst zur Anforderung gehört, beispielsweise bei Sicherheitsabläufen. 5. Schwankende Testergebnisse untersuchen, statt sie vorschnell zu entfernen. Wiederholungen könnten Hinweise geben, ob der Agent, die Bewertung oder die Umgebung instabil ist. 6. Verhindern, dass das System, das Änderungen vorschlägt, zugleich Bewertungsmaßstäbe lockert, schwierige Fälle entfernt oder Erwartungen umschreibt. Ein zurückgehaltener Testsatz könne prüfen, ob Verbesserungen auf unbekannte Fälle übertragen werden. 7. Prompt-Optimierung erst erwägen, nachdem die konkreten Verhaltensfehler untersucht und behoben wurden. Ein fehlendes Werkzeug oder falsche Zustandsführung lasse sich laut Beitrag nicht durch bloß umformulierte Anweisungen lösen.

Die Schlussfolgerung lautet, dass die Messlatte selbst geschützt und sinnvoll gestaltet werden muss. Die Empfehlung „ein Maß, ein Fehler, eine Verbesserungsschleife“ ist eine Leitlinie des Autors, kein im Bericht nachgewiesener allgemeingültiger Erfolgsbeweis. Der Beitrag weist außerdem auf mögliche Ursachen von Schwankungen hin, liefert aber keine systematische Untersuchung oder quantifizierten Ergebnisse, mit denen sich die Wirksamkeit der sieben Regeln vergleichen ließe.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: ok

Die Einordnung stützt sich allein auf den Berichtstext. Die Sammelfragen und Teilfragen des Archivs sind thematisch weitgehend anders gelagert als der Bericht, der sich auf Evaluation selbstverbessernder Coding-Agenten konzentriert.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 28 %Hintergrund, keine Belege
    • Luna 58 %Hintergrund, keine Belege
    • JEV 38 %Hintergrund, keine Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht

    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht

    • SF-F4-T03 Welche neue Prüfung braucht jeder Einsatz, wenn Fähigkeiten zunehmend im Nachdenken des Modells während der Nutzung stecken statt in einem einmal trainierten Modell, und würden die für ein festes Modell gebauten Freigabetests das noch erfassen? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 48 %einzelne zitierbare Belege
    • JEV 44 %beantwortet teilweise oder widerspricht
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 35 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 21 %Hintergrund, keine Belege
    • Luna 42 %einzelne zitierbare Belege
    • JEV 39 %beantwortet teilweise oder widerspricht
    • amos 28 %Hintergrund, keine Belege
    • SubQ 26 %gleiches Oberthema, hilft nicht
    • drex 26 %Hintergrund, keine Belege
    • d3-ultra 39 %Hintergrund, keine Belege

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 55 %Hintergrund, keine Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 27 %nur am Rande erwähnt
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 27 %Hintergrund, keine Belege
    • Luna 39 %einzelne zitierbare Belege
    • JEV 53 %beantwortet teilweise oder widerspricht
    • amos 24 %einzelne zitierbare Belege
    • SubQ 29 %Hintergrund, keine Belege
    • drex 23 %einzelne zitierbare Belege
    • d3-ultra 38 %Hintergrund, keine Belege

    • SF-T3-T05 Wenn Selbstverbesserung schneller voranschreitet als der Beobachtungstakt fortlaufender Prüfer: Wie kurz muss dieser Takt sein, und wer darf zwischen zwei Beobachtungen eine Pause durchsetzen: der Prüfer, das Labor oder eine Stelle von außen? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 4 · 37 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 24 %Hintergrund, keine Belege
    • Luna 31 %Hintergrund, keine Belege
    • JEV 22 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 24 %Hintergrund, keine Belege
    • d3-ultra 59 %gleiches Oberthema, hilft nicht

    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 5 · 31 % · umfangreiche Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 4 · 31 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 57 %Hintergrund, keine Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht

    • SF-V3-T02 Wie macht man die Ausrichtung eines Modells an Werten zu prüfbaren Verhaltensregeln statt zu angestrebten menschlichen Eigenschaften wie der „Liebe zur Menschheit“? Luna: Stufe 4 · 28 % · einzelne zitierbare Belege
    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 26 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 21 %Hintergrund, keine Belege
    • Luna 45 %einzelne zitierbare Belege
    • JEV 36 %beantwortet teilweise oder widerspricht
    • amos 28 %Hintergrund, keine Belege
    • SubQ 33 %gleiches Oberthema, hilft nicht
    • drex 25 %gleiches Oberthema, hilft nicht
    • d3-ultra 42 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
    • SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 27 %Hintergrund, keine Belege
    • Luna 44 %einzelne zitierbare Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 42 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 32 %gleiches Oberthema, hilft nicht
    • Luna 55 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 67 %gleiches Oberthema, hilft nicht

  3. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 30 %gleiches Oberthema, hilft nicht
    • Luna 41 %Hintergrund, keine Belege
    • JEV 38 %gleiches Oberthema, hilft nicht
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 54 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 72 %gleiches Oberthema, hilft nicht
    • drex 65 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 72 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →