Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
arxiv.orgohne Datum · Q000162

Compact-Bench: Measuring What Context Compaction Costs Long-Horizon Coding Agents

arxiv.org · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Bericht ist ein Auszug mit dem Abstract eines Papers über die Folgen von Kontextverdichtung für Programmieragenten. Laut den Autoren kann Verdichtung den Aufgabenabschluss beeinträchtigen: LLM-Zusammenfassungen bewahren deutlich weniger wiederkehrende Details als mechanische Extraktion, und relevante Informationen allein sichern keine erfolgreiche Fortsetzung.

Mittel

Der bereitgestellte Bericht ist ein Auszug aus dem arXiv-Eintrag und enthält im Wesentlichen den Abstract, nicht den vollständigen Artikel. Das Paper stellt Compact-Bench vor, einen Benchmark zur Untersuchung, wie sich das Verdichten des Gesprächsverlaufs auf lang laufende Programmieragenten auswirkt. Die Autoren vergleichen Fortsetzungen mit vollständigem Verlauf und mit Zusammenfassungen, ausgehend vom selben Repository-Zustand. Der Datensatz umfasst 35 SWE-bench-Reparaturen, 146 agentische Sitzungen und 106 Produktionsketten.

Laut Abstract schwankt der stabile Schaden über 14 Zusammenfassungsmodelle zwischen 5 und 64 Prozent der 22 Erfolge mit vollständigem Verlauf. Claude Opus 4.8 bewahrt die meisten Reparaturen; DeepSeek-Flash beschädigt die meisten. Mit Kimi-K3 als Zusammenfasser erzielt der Kimi-Code-Prompt die meisten Fortsetzungen (19 von 22), Claude Code behält am meisten wiederkehrende Details (15,0 Prozent). LLM-Zusammenfassungen bewahren höchstens 16,0 Prozent solcher Details, mechanische Extraktion 79,1 Prozent. Produktionszusammenfassungen erreichen an der ersten Verdichtungsgrenze 15,7 Prozent. Die Autoren schließen, dass der für den Aufgabenabschluss nötige Arbeitsfortschritt erhalten bleiben muss und Informationsbewahrung allein keinen Erfolg garantiert. Der Auszug erlaubt keine nähere Beurteilung von Methodik und Übertragbarkeit.

Ausführlich lesen

Der bereitgestellte Bericht ist ein Auszug aus dem arXiv-Eintrag zum Paper „Compact-Bench: Measuring What Context Compaction Costs Long-Horizon Coding Agents“; er enthält vor allem den Abstract und bibliografische Angaben, nicht den vollständigen Artikel. Die Autoren untersuchen, was beim Verdichten des Gesprächsverlaufs („Context Compaction“) für lang laufende Programmieragenten verloren gehen kann. Eine solche Verdichtung soll Agenten ermöglichen, über die Grenzen ihres Kontextfensters hinauszuarbeiten. Laut Abstract können dabei jedoch Informationen über den bisherigen Arbeitsstand verschwinden, die zum Abschluss einer Aufgabe nötig sind.

Um den Effekt des Austauschs einer konkreten Historie besser abzugrenzen, vergleichen die Autoren Fortsetzungen mit vollständigem Verlauf und mit einer Zusammenfassung, jeweils ausgehend vom gleichen Zustand des Code-Repositories. Der Benchmark umfasst laut Bericht 35 Reparaturaufgaben aus SWE-bench, 146 agentische Sitzungen und 106 Produktionsketten. Untersucht werden wiederkehrende Aufgabendetails und aufeinanderfolgende Verdichtungen aus der Praxis.

Über 14 Zusammenfassungsmodelle hinweg schwankt der als stabil beschriebene Schaden zwischen 5 und 64 Prozent der 22 Erfolge mit vollständigem Verlauf. Claude Opus 4.8 bewahrt laut Abstract die meisten Reparaturen; DeepSeek-Flash verursacht den größten Schaden. Bei Kimi-K3 als Zusammenfasser erhält der Prompt von Kimi Code die meisten Aufgabenfortsetzungen (19 von 22), während Claude Code den größten Anteil wiederkehrender Details behält (15,0 Prozent). Die Autoren berichten außerdem, dass LLM-Zusammenfassungen höchstens 16,0 Prozent dieser Details bewahren, gegenüber 79,1 Prozent bei mechanischer Extraktion. Produktionszusammenfassungen enthalten an der ersten Verdichtungsgrenze 15,7 Prozent.

Die Fehler sind dem Abstract zufolge nicht auf eine einzelne Methode beschränkt: Eine Reparatur wird durch 13 von 14 Modell-Backbones beeinträchtigt, eine weitere durch alle fünf untersuchten Prompts. Die Autoren folgern daraus, dass eine zuverlässige Verdichtung den für den Aufgabenabschluss nötigen Fortschritt erhalten muss. Das bloße Bewahren relevanter Informationen reiche nicht aus, um eine erfolgreiche Fortsetzung sicherzustellen.

Die Zahlen und Schlussfolgerungen sind hier nur so wiedergegeben, wie sie im Abstract des bereitgestellten Auszugs stehen. Der Auszug liefert keine näheren Angaben zu Versuchsaufbau, Definition der Schadensspanne, statistischer Unsicherheit oder Übertragbarkeit auf andere Aufgaben und Agenten; diese Grenzen lassen sich anhand des vorliegenden Textes nicht weiter beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV offen
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →