Compact-Bench: Measuring What Context Compaction Costs Long-Horizon Coding Agents
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Bericht ist ein Auszug mit dem Abstract eines Papers über die Folgen von Kontextverdichtung für Programmieragenten. Laut den Autoren kann Verdichtung den Aufgabenabschluss beeinträchtigen: LLM-Zusammenfassungen bewahren deutlich weniger wiederkehrende Details als mechanische Extraktion, und relevante Informationen allein sichern keine erfolgreiche Fortsetzung.
Mittel
Der bereitgestellte Bericht ist ein Auszug aus dem arXiv-Eintrag und enthält im Wesentlichen den Abstract, nicht den vollständigen Artikel. Das Paper stellt Compact-Bench vor, einen Benchmark zur Untersuchung, wie sich das Verdichten des Gesprächsverlaufs auf lang laufende Programmieragenten auswirkt. Die Autoren vergleichen Fortsetzungen mit vollständigem Verlauf und mit Zusammenfassungen, ausgehend vom selben Repository-Zustand. Der Datensatz umfasst 35 SWE-bench-Reparaturen, 146 agentische Sitzungen und 106 Produktionsketten.
Laut Abstract schwankt der stabile Schaden über 14 Zusammenfassungsmodelle zwischen 5 und 64 Prozent der 22 Erfolge mit vollständigem Verlauf. Claude Opus 4.8 bewahrt die meisten Reparaturen; DeepSeek-Flash beschädigt die meisten. Mit Kimi-K3 als Zusammenfasser erzielt der Kimi-Code-Prompt die meisten Fortsetzungen (19 von 22), Claude Code behält am meisten wiederkehrende Details (15,0 Prozent). LLM-Zusammenfassungen bewahren höchstens 16,0 Prozent solcher Details, mechanische Extraktion 79,1 Prozent. Produktionszusammenfassungen erreichen an der ersten Verdichtungsgrenze 15,7 Prozent. Die Autoren schließen, dass der für den Aufgabenabschluss nötige Arbeitsfortschritt erhalten bleiben muss und Informationsbewahrung allein keinen Erfolg garantiert. Der Auszug erlaubt keine nähere Beurteilung von Methodik und Übertragbarkeit.
Ausführlich lesen
Der bereitgestellte Bericht ist ein Auszug aus dem arXiv-Eintrag zum Paper „Compact-Bench: Measuring What Context Compaction Costs Long-Horizon Coding Agents“; er enthält vor allem den Abstract und bibliografische Angaben, nicht den vollständigen Artikel. Die Autoren untersuchen, was beim Verdichten des Gesprächsverlaufs („Context Compaction“) für lang laufende Programmieragenten verloren gehen kann. Eine solche Verdichtung soll Agenten ermöglichen, über die Grenzen ihres Kontextfensters hinauszuarbeiten. Laut Abstract können dabei jedoch Informationen über den bisherigen Arbeitsstand verschwinden, die zum Abschluss einer Aufgabe nötig sind.
Um den Effekt des Austauschs einer konkreten Historie besser abzugrenzen, vergleichen die Autoren Fortsetzungen mit vollständigem Verlauf und mit einer Zusammenfassung, jeweils ausgehend vom gleichen Zustand des Code-Repositories. Der Benchmark umfasst laut Bericht 35 Reparaturaufgaben aus SWE-bench, 146 agentische Sitzungen und 106 Produktionsketten. Untersucht werden wiederkehrende Aufgabendetails und aufeinanderfolgende Verdichtungen aus der Praxis.
Über 14 Zusammenfassungsmodelle hinweg schwankt der als stabil beschriebene Schaden zwischen 5 und 64 Prozent der 22 Erfolge mit vollständigem Verlauf. Claude Opus 4.8 bewahrt laut Abstract die meisten Reparaturen; DeepSeek-Flash verursacht den größten Schaden. Bei Kimi-K3 als Zusammenfasser erhält der Prompt von Kimi Code die meisten Aufgabenfortsetzungen (19 von 22), während Claude Code den größten Anteil wiederkehrender Details behält (15,0 Prozent). Die Autoren berichten außerdem, dass LLM-Zusammenfassungen höchstens 16,0 Prozent dieser Details bewahren, gegenüber 79,1 Prozent bei mechanischer Extraktion. Produktionszusammenfassungen enthalten an der ersten Verdichtungsgrenze 15,7 Prozent.
Die Fehler sind dem Abstract zufolge nicht auf eine einzelne Methode beschränkt: Eine Reparatur wird durch 13 von 14 Modell-Backbones beeinträchtigt, eine weitere durch alle fünf untersuchten Prompts. Die Autoren folgern daraus, dass eine zuverlässige Verdichtung den für den Aufgabenabschluss nötigen Fortschritt erhalten muss. Das bloße Bewahren relevanter Informationen reiche nicht aus, um eine erfolgreiche Fortsetzung sicherzustellen.
Die Zahlen und Schlussfolgerungen sind hier nur so wiedergegeben, wie sie im Abstract des bereitgestellten Auszugs stehen. Der Auszug liefert keine näheren Angaben zu Versuchsaufbau, Definition der Schadensspanne, statistischer Unsicherheit oder Übertragbarkeit auf andere Aufgaben und Agenten; diese Grenzen lassen sich anhand des vorliegenden Textes nicht weiter beurteilen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 31 %gleiches Oberthema, hilft nicht
- JEV
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug