Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
fragen-funde19. August 2026 · Q005255

Does Self-Improvement Still Work on an Engineered Agent Harness?

alphasignal.ai · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der Auszug berichtet von zwei SWE-bench-Agenten-Harnesses: Verbesserungen auf den jeweiligen Validierungssätzen führten nicht durchweg zu ebenso klaren Gewinnen auf versiegelten Aufgaben. Die Autorin stellt deshalb die Zuverlässigkeit der Prüfsätze in den Mittelpunkt; der Bericht ist unvollständig und endet, bevor Versuchsaufbau und weitere Ergebnisse ausgeführt werden.

Mittel

Der Bericht fragt, ob Agenten ihre bereits sorgfältig entwickelten Arbeitsanweisungen selbst noch verbessern können und wie sich echte Fortschritte von Zufall unterscheiden lassen. Akruti Acharya ließ GPT-5.6 Sol zwei SWE-bench-Harnesses optimieren und hielt laut Text Modell, Werkzeuge, Laufzeit, Auswertung und Budget konstant.

Beim ersten Harness stieg der Validierungswert von 3/10 auf 6/10, doch auf 24 zuvor unbekannten Aufgaben blieb das Ergebnis bei 15/24. Eine Aufgabe kam hinzu, eine zuvor gelöste ging verloren. Beim zweiten Harness verbesserte sich der eigene Prüfsatz von 3/14 auf 5/14; im versiegelten Test stieg das Ergebnis von 13/24 auf 15/24.

Die Autorin folgert nicht, dass Selbstverbesserung grundsätzlich gelingt. Sie richtet den Blick auf die Zuverlässigkeit des Prüftors: Ein guter Wert auf dem Validierungssatz kann eine Änderung überzeugend erscheinen lassen, ohne einen allgemeinen Gewinn zu belegen. Der sichtbare Text ist nur ein Auszug: Er bricht bei der Beschreibung des Versuchsaufbaus ab, und der Rest wird hinter einer Anmeldeaufforderung zurückgehalten. Angaben für eine belastbare allgemeine Aussage fehlen daher.

Ausführlich lesen

Der Bericht untersucht, ob ein Agent seine bereits von Menschen ausgearbeiteten Arbeitsanweisungen noch sinnvoll verbessern kann und wie sich echte Verbesserungen von zufälligen Schwankungen unterscheiden lassen. Autorin Akruti Acharya ließ GPT-5.6 Sol zwei SWE-bench-Agenten-Harnesses optimieren. Modell, Werkzeuge, Laufzeit, Auswertung und Budgets blieben laut Bericht gleich; verändert werden sollte nur die Anweisungsebene.

Bei einem zunächst sparsamen Harness stieg das Ergebnis auf dessen Validierungsdurchläufen von 3/10 auf 6/10. Auf einem zuvor versiegelten Satz von 24 Aufgaben blieb das Resultat jedoch bei 15/24: Der optimierte Agent löste eine zuvor verfehlte Aufgabe, verlor dafür aber eine zuvor gelöste. Beim zweiten Harness wirkte die Optimierung auf dem eigenen Prüfsatz weniger überzeugend: Die angenommene Änderung hob den Wert dort von 3/14 auf 5/14. Im versiegelten Test stieg das Ergebnis von 13/24 auf 15/24.

Die Autorin hatte zunächst drei Harnesses mit abgestuftem Umfang menschlicher Ausarbeitung geplant. Der vorliegende Text führt diesen Versuchsaufbau jedoch nicht vollständig aus. Er argumentiert, dass Selbstoptimierungs-Demonstrationen oft bei schwachen oder minimalen Ausgangsgerüsten beginnen, bei denen offensichtliche Verbesserungsmöglichkeiten bestehen. Für bereits sorgfältig entwickelte Harnesses sei die entscheidende praktische Frage daher, ob eine Änderung belastbar wirkt und nicht nur auf einem einzelnen Prüfsatz gut aussieht. Der Text verweist auf Prime Agents Continual Harness und Poetiqs Darstellung selbstverstärkender Verbesserungen, gibt diese aber als Beispiele beziehungsweise deren eigene Einordnungen wieder.

Der Auszug liefert keine klare Antwort darauf, ob Selbstverbesserung bei ausgefeilten Harnesses generell funktioniert. Die Ergebnisse sind begrenzt: Es werden kleine Aufgabenmengen und einzelne berichtete Vergleiche genannt; Angaben zu Wiederholungen, Unsicherheit oder statistischer Aussagekraft fehlen im sichtbaren Text. Zudem endet der Bericht mitten in der Beschreibung der Harness-Leiter. Der Rest ist hinter einer Aufforderung zur kostenlosen Anmeldung verborgen. Daher lässt sich aus diesem Auszug vor allem die Warnung entnehmen, Validierungsgewinne nicht ungeprüft als allgemeine Verbesserung zu behandeln.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV offen
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 21 %Hintergrund, keine Belege
    • Luna 41 %einzelne zitierbare Belege
    • JEV offen
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 24 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 46 %einzelne zitierbare Belege
    • JEV offen
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 24 %Hintergrund, keine Belege
    • Luna 50 %einzelne zitierbare Belege
    • JEV offen
    • amos 26 %einzelne zitierbare Belege
    • SubQ 25 %gleiches Oberthema, hilft nicht
    • drex 23 %einzelne zitierbare Belege
    • d3-ultra 37 %Hintergrund, keine Belege

    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 4 · 38 % · einzelne zitierbare Belege
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV offen
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV offen
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 66 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 27 %Hintergrund, keine Belege
    • Luna 36 %Hintergrund, keine Belege
    • JEV offen
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 60 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →