How enabling two settings tripled our scores on the ARC-AGI-3 benchmark
Zusammenfassung
Kurz
OpenAI berichtet, dass GPT‑5.6 Sol im ARC‑AGI‑3-Test mit erhaltenen Überlegungen und Compaction auf dem öffentlichen Aufgabensatz 38,3 statt 13,3 Prozent erreichte und sechsmal weniger Ausgabetokens verwendete. Der Beitrag führt den Unterschied auf den Umgang des Testgerüsts mit Gedächtnis und Kontext zurück; er erklärt jedoch nicht, wie der ebenfalls genannte Ausgangswert von 7,8 Prozent dazu passt.
Mittel
OpenAI untersucht, warum GPT‑5.6 Sol beim Benchmark ARC‑AGI‑3 zunächst schwach abschnitt. Der Beitrag nennt zuerst 7,8 Prozent, später für den öffentlichen Aufgabensatz 13,3 Prozent mit dem offiziellen Testgerüst. Diese unterschiedlichen Ausgangswerte werden nicht miteinander erklärt. Laut OpenAI verwarf das Testgerüst nach jedem Zug die privaten Überlegungen des Modells und entfernte mit wachsendem Verlauf ältere Aktionen und Beobachtungen. Dadurch fiel es dem Modell schwerer, aus bisherigen Zügen zu lernen.
Das Unternehmen testete daraufhin ein Gerüst mit der Responses API, das Überlegungen über mehrere Züge behielt, und aktivierte Compaction zur Verdichtung des Kontexts. Damit stieg der angegebene Wert auf dem öffentlichen Aufgabensatz auf 38,3 Prozent; zugleich sank die Zahl der Ausgabetokens um den Faktor sechs. Als menschlichen Vergleichswert schätzt der Beitrag 48 Prozent durchschnittliche relative menschliche Aktionseffizienz. OpenAI folgert, dass Benchmarks auch die Wahl des Testgerüsts und der API-Einstellungen abbilden. Die Zahlen stammen aus den beschriebenen OpenAI-Versuchen und belegen für sich genommen nicht, dass derselbe Effekt bei anderen Modellen oder Tests auftritt.
Ausführlich lesen
Der Bericht beschreibt OpenAIs Untersuchung niedriger Ergebnisse von GPT‑5.6 Sol und GPT‑5.5 beim Benchmark ARC‑AGI‑3. Dieser prüft, wie gut KI-Agenten unbekannte zweidimensionale Spiele erkunden und deren Regeln ohne ausdrückliche Anleitung erschließen. OpenAI berichtet zunächst von 7,8 Prozent für GPT‑5.6 Sol und 0,4 Prozent für GPT‑5.5. Für den öffentlichen Aufgabensatz nennt der Beitrag später einen Vergleichswert von 13,3 Prozent mit dem offiziellen Testgerüst und 38,3 Prozent mit zwei geänderten API-Einstellungen. Der Bericht erklärt nicht ausdrücklich, wie der zuerst genannte Wert von 7,8 Prozent mit den 13,3 Prozent zusammenhängt.
Nach Darstellung der Autorinnen und Autoren lag ein wesentlicher Teil des Problems an der Art, wie das Testgerüst den Gesprächsverlauf verwaltete. Es verwarf nach jeder Spielaktion die privaten Überlegungen des Modells. Das Modell konnte zwar frühere Züge und kurze Notizen sehen, aber nicht die Gedanken und Pläne, die dazu geführt hatten. Zusätzlich entfernte ein gleitendes Kürzungsfenster ältere Nachrichten, sobald der Verlauf zu lang wurde. Damit verlor das Modell im Laufe einer Partie auch Beobachtungen und frühere Aktionen. OpenAI folgert, dass diese Einstellungen das Lernen über mehrere Züge erschwerten.
Als Vorgehen setzte OpenAI ein eigenes Testgerüst auf Basis der Responses API ein. Mit der vorherigen Antwort-ID blieben Überlegungen über mehrere Werkzeugaufrufe und Gesprächsrunden hinweg erhalten. Außerdem ersetzte das Team die Kürzung älterer Nachrichten durch „Compaction“, also eine Verdichtung des Kontexts. Laut Bericht dachte GPT‑5.6 Sol mit erhaltenen Überlegungen weniger lange vor einzelnen Aktionen, musste das Spiel nicht jedes Mal neu erschließen und entwickelte eher zusammenhängende Strategien. Mit Compaction konnte es Erkenntnisse über längere Spielverläufe hinweg bewahren.
OpenAI gibt an, dass die Kombination beider Einstellungen den Wert auf dem öffentlichen Aufgabensatz von 13,3 auf 38,3 Prozent erhöhte und die Zahl der Ausgabetokens um den Faktor sechs senkte. Die Ergebnisse werden als relative menschliche Aktionseffizienz (RHAE) angegeben. Aus offiziellen Spielprotokollen schätzt der Beitrag den Durchschnitt menschlicher Testpersonen auf 48 Prozent. Den Modellen werde die Bewertungsmethode nicht mitgeteilt; außerdem sähen sie während des Spiels weder ihre Punktzahl noch mehr als eine Textdarstellung des jeweiligen Spielbildes und der aktuellen Ebene.
Der Beitrag betont, dass Benchmarks nicht nur Modelle, sondern auch Testgerüste, API-Einstellungen und Prompts messen. OpenAI empfiehlt deshalb für eigene Anwendungen die Responses API, das Beibehalten von Überlegungen und Compaction sowie für Modellvergleiche Tests mit diesen Einstellungen. Die berichteten Zahlen stammen aus OpenAIs eigenen Versuchen; der Text belegt nicht, dass derselbe Effekt für andere Modelle, Benchmarks oder Testbedingungen gilt. Der Beitrag stellt die Einstellungen als näher an der Nutzung in ChatGPT und Codex dar. Das ist die Einordnung des Unternehmens, keine allgemeine unabhängige Bestätigung.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas zwei Zusammenfassungen (kurz und mittel) wurden gemeinsam bewertet; beide geben die Kernaussagen treu wieder, die mittlere Fassung ist vollständiger. Die Einschätzung, die Zahlen belegten nicht allein einen allgemeinen Effekt, ist ein Vorbehalt von Luna und keine Angabe des Berichts, daher nicht als erfunden gewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Der Bericht nennt 0,4 Prozent für GPT-5.5 und 7,8 Prozent für GPT-5.6 Sol auf dem vollen Benchmark, was in der mittleren Zusammenfassung fehlt.
- Die Begründung für das bewusst generische Gerüst von ARC (einfaches Gerüst macht Schwächen sichtbar und Vergleiche fairer) fehlt.
- Die Beispiele Pokémon FireRed, Slay the Spire und Baba Is You sowie der Hinweis auf erste Fortschritte in Spielen fehlen.
- Die Rolling-Truncation-Grenze von 175.000 Zeichen bzw. Tokens und die Verbesserung von etwa dem Dreifachen Score bei sechsfach weniger Ausgabetokens fehlen als Kennzahl in der mittleren Zusammenfassung.
- Die Handlungsempfehlungen an API-Entwickler (Responses API, Überlegungen behalten, Compaction) und an Vergleiche von Modellen fehlen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 26 %gleiches Oberthema, hilft nicht
- SubQ 32 %gleiches Oberthema, hilft nicht
- drex 33 %gleiches Oberthema, hilft nicht
- d3-ultra 43 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 23 %einzelne zitierbare Belege
- amos 26 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %Hintergrund, keine Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 44 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 56 %einzelne zitierbare Belege
- JEV 37 %beantwortet teilweise oder widerspricht
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 25 %Hintergrund, keine Belege
- d3-ultra 33 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-P3-T05 Welches Mindestpaket (Datenverzeichnisse, Code, Zufallsstartwerte, Abbilder der Rechenumgebung, Prüferversionen, Fehlerprotokolle und Annahmen über die Hardware) muss ein Labor sichern oder kontrolliert hinterlegen, damit ein Prüfer ein sicherheitskritisches Trainings- oder Prüfergebnis auch nach Ende seines Zugangs nachrechnen kann, und welche Geheimnisse bleiben unzugänglich?
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 33 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 69 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 45 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 52 %umfangreiche Belege
- JEV 53 %beantwortet teilweise oder widerspricht
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 44 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 25 %nur am Rande erwähnt
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-A1-T04 Bevor ein Agent weiterarbeitet, nachdem sein bisheriger Arbeitsverlauf für ein neues Kontextfenster zusammengefasst wurde: Wird geprüft, ob diese Zusammenfassung die Anweisungen des Nutzers, die Herkunft wichtiger Fakten und offene Fehler bewahrt? Und wird festgelegt, wann der Agent die Originalaufzeichnung prüfen muss, statt der Zusammenfassung zu vertrauen?
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 28 %Hintergrund, keine Belege
- JEV 32 %beantwortet teilweise oder widerspricht
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv