Does Self-Improvement Still Work on an Engineered Agent Harness?
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der Auszug berichtet von zwei SWE-bench-Agenten-Harnesses: Verbesserungen auf den jeweiligen Validierungssätzen führten nicht durchweg zu ebenso klaren Gewinnen auf versiegelten Aufgaben. Die Autorin stellt deshalb die Zuverlässigkeit der Prüfsätze in den Mittelpunkt; der Bericht ist unvollständig und endet, bevor Versuchsaufbau und weitere Ergebnisse ausgeführt werden.
Mittel
Der Bericht fragt, ob Agenten ihre bereits sorgfältig entwickelten Arbeitsanweisungen selbst noch verbessern können und wie sich echte Fortschritte von Zufall unterscheiden lassen. Akruti Acharya ließ GPT-5.6 Sol zwei SWE-bench-Harnesses optimieren und hielt laut Text Modell, Werkzeuge, Laufzeit, Auswertung und Budget konstant.
Beim ersten Harness stieg der Validierungswert von 3/10 auf 6/10, doch auf 24 zuvor unbekannten Aufgaben blieb das Ergebnis bei 15/24. Eine Aufgabe kam hinzu, eine zuvor gelöste ging verloren. Beim zweiten Harness verbesserte sich der eigene Prüfsatz von 3/14 auf 5/14; im versiegelten Test stieg das Ergebnis von 13/24 auf 15/24.
Die Autorin folgert nicht, dass Selbstverbesserung grundsätzlich gelingt. Sie richtet den Blick auf die Zuverlässigkeit des Prüftors: Ein guter Wert auf dem Validierungssatz kann eine Änderung überzeugend erscheinen lassen, ohne einen allgemeinen Gewinn zu belegen. Der sichtbare Text ist nur ein Auszug: Er bricht bei der Beschreibung des Versuchsaufbaus ab, und der Rest wird hinter einer Anmeldeaufforderung zurückgehalten. Angaben für eine belastbare allgemeine Aussage fehlen daher.
Ausführlich lesen
Der Bericht untersucht, ob ein Agent seine bereits von Menschen ausgearbeiteten Arbeitsanweisungen noch sinnvoll verbessern kann und wie sich echte Verbesserungen von zufälligen Schwankungen unterscheiden lassen. Autorin Akruti Acharya ließ GPT-5.6 Sol zwei SWE-bench-Agenten-Harnesses optimieren. Modell, Werkzeuge, Laufzeit, Auswertung und Budgets blieben laut Bericht gleich; verändert werden sollte nur die Anweisungsebene.
Bei einem zunächst sparsamen Harness stieg das Ergebnis auf dessen Validierungsdurchläufen von 3/10 auf 6/10. Auf einem zuvor versiegelten Satz von 24 Aufgaben blieb das Resultat jedoch bei 15/24: Der optimierte Agent löste eine zuvor verfehlte Aufgabe, verlor dafür aber eine zuvor gelöste. Beim zweiten Harness wirkte die Optimierung auf dem eigenen Prüfsatz weniger überzeugend: Die angenommene Änderung hob den Wert dort von 3/14 auf 5/14. Im versiegelten Test stieg das Ergebnis von 13/24 auf 15/24.
Die Autorin hatte zunächst drei Harnesses mit abgestuftem Umfang menschlicher Ausarbeitung geplant. Der vorliegende Text führt diesen Versuchsaufbau jedoch nicht vollständig aus. Er argumentiert, dass Selbstoptimierungs-Demonstrationen oft bei schwachen oder minimalen Ausgangsgerüsten beginnen, bei denen offensichtliche Verbesserungsmöglichkeiten bestehen. Für bereits sorgfältig entwickelte Harnesses sei die entscheidende praktische Frage daher, ob eine Änderung belastbar wirkt und nicht nur auf einem einzelnen Prüfsatz gut aussieht. Der Text verweist auf Prime Agents Continual Harness und Poetiqs Darstellung selbstverstärkender Verbesserungen, gibt diese aber als Beispiele beziehungsweise deren eigene Einordnungen wieder.
Der Auszug liefert keine klare Antwort darauf, ob Selbstverbesserung bei ausgefeilten Harnesses generell funktioniert. Die Ergebnisse sind begrenzt: Es werden kleine Aufgabenmengen und einzelne berichtete Vergleiche genannt; Angaben zu Wiederholungen, Unsicherheit oder statistischer Aussagekraft fehlen im sichtbaren Text. Zudem endet der Bericht mitten in der Beschreibung der Harness-Leiter. Der Rest ist hinter einer Aufforderung zur kostenlosen Anmeldung verborgen. Daher lässt sich aus diesem Auszug vor allem die Warnung entnehmen, Validierungsgewinne nicht ungeprüft als allgemeine Verbesserung zu behandeln.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 52 %Hintergrund, keine Belege
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 21 %Hintergrund, keine Belege
- Luna 41 %einzelne zitierbare Belege
- JEV
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 24 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 46 %einzelne zitierbare Belege
- JEV
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 24 %Hintergrund, keine Belege
- Luna 50 %einzelne zitierbare Belege
- JEV
- amos 26 %einzelne zitierbare Belege
- SubQ 25 %gleiches Oberthema, hilft nicht
- drex 23 %einzelne zitierbare Belege
- d3-ultra 37 %Hintergrund, keine Belege
- SF-T3-T04 Welche konkrete menschliche Aufsicht oder Eingriffsmöglichkeit muss während der Selbstverbesserung bleiben und darf nur mit gegenseitiger Zustimmung ersetzt werden, und wer bescheinigt, dass der sich verbessernde Agent keine menschliche Rolle still an einen selbst entworfenen Unteragenten abgegeben hat?
- SF-T3-T05 Wenn Selbstverbesserung schneller voranschreitet als der Beobachtungstakt fortlaufender Prüfer: Wie kurz muss dieser Takt sein, und wer darf zwischen zwei Beobachtungen eine Pause durchsetzen: der Prüfer, das Labor oder eine Stelle von außen?
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 52 %Hintergrund, keine Belege
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat?
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 66 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 27 %Hintergrund, keine Belege
- Luna 36 %Hintergrund, keine Belege
- JEV
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 60 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 58 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Alle Berichte im Archiv