Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai29. Juli 2026 · Q007673

How enabling two settings tripled our scores on the ARC-AGI-3 benchmark

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI berichtet, dass GPT‑5.6 Sol im ARC‑AGI‑3-Test mit erhaltenen Überlegungen und Compaction auf dem öffentlichen Aufgabensatz 38,3 statt 13,3 Prozent erreichte und sechsmal weniger Ausgabetokens verwendete. Der Beitrag führt den Unterschied auf den Umgang des Testgerüsts mit Gedächtnis und Kontext zurück; er erklärt jedoch nicht, wie der ebenfalls genannte Ausgangswert von 7,8 Prozent dazu passt.

Mittel

OpenAI untersucht, warum GPT‑5.6 Sol beim Benchmark ARC‑AGI‑3 zunächst schwach abschnitt. Der Beitrag nennt zuerst 7,8 Prozent, später für den öffentlichen Aufgabensatz 13,3 Prozent mit dem offiziellen Testgerüst. Diese unterschiedlichen Ausgangswerte werden nicht miteinander erklärt. Laut OpenAI verwarf das Testgerüst nach jedem Zug die privaten Überlegungen des Modells und entfernte mit wachsendem Verlauf ältere Aktionen und Beobachtungen. Dadurch fiel es dem Modell schwerer, aus bisherigen Zügen zu lernen.

Das Unternehmen testete daraufhin ein Gerüst mit der Responses API, das Überlegungen über mehrere Züge behielt, und aktivierte Compaction zur Verdichtung des Kontexts. Damit stieg der angegebene Wert auf dem öffentlichen Aufgabensatz auf 38,3 Prozent; zugleich sank die Zahl der Ausgabetokens um den Faktor sechs. Als menschlichen Vergleichswert schätzt der Beitrag 48 Prozent durchschnittliche relative menschliche Aktionseffizienz. OpenAI folgert, dass Benchmarks auch die Wahl des Testgerüsts und der API-Einstellungen abbilden. Die Zahlen stammen aus den beschriebenen OpenAI-Versuchen und belegen für sich genommen nicht, dass derselbe Effekt bei anderen Modellen oder Tests auftritt.

Ausführlich lesen

Der Bericht beschreibt OpenAIs Untersuchung niedriger Ergebnisse von GPT‑5.6 Sol und GPT‑5.5 beim Benchmark ARC‑AGI‑3. Dieser prüft, wie gut KI-Agenten unbekannte zweidimensionale Spiele erkunden und deren Regeln ohne ausdrückliche Anleitung erschließen. OpenAI berichtet zunächst von 7,8 Prozent für GPT‑5.6 Sol und 0,4 Prozent für GPT‑5.5. Für den öffentlichen Aufgabensatz nennt der Beitrag später einen Vergleichswert von 13,3 Prozent mit dem offiziellen Testgerüst und 38,3 Prozent mit zwei geänderten API-Einstellungen. Der Bericht erklärt nicht ausdrücklich, wie der zuerst genannte Wert von 7,8 Prozent mit den 13,3 Prozent zusammenhängt.

Nach Darstellung der Autorinnen und Autoren lag ein wesentlicher Teil des Problems an der Art, wie das Testgerüst den Gesprächsverlauf verwaltete. Es verwarf nach jeder Spielaktion die privaten Überlegungen des Modells. Das Modell konnte zwar frühere Züge und kurze Notizen sehen, aber nicht die Gedanken und Pläne, die dazu geführt hatten. Zusätzlich entfernte ein gleitendes Kürzungsfenster ältere Nachrichten, sobald der Verlauf zu lang wurde. Damit verlor das Modell im Laufe einer Partie auch Beobachtungen und frühere Aktionen. OpenAI folgert, dass diese Einstellungen das Lernen über mehrere Züge erschwerten.

Als Vorgehen setzte OpenAI ein eigenes Testgerüst auf Basis der Responses API ein. Mit der vorherigen Antwort-ID blieben Überlegungen über mehrere Werkzeugaufrufe und Gesprächsrunden hinweg erhalten. Außerdem ersetzte das Team die Kürzung älterer Nachrichten durch „Compaction“, also eine Verdichtung des Kontexts. Laut Bericht dachte GPT‑5.6 Sol mit erhaltenen Überlegungen weniger lange vor einzelnen Aktionen, musste das Spiel nicht jedes Mal neu erschließen und entwickelte eher zusammenhängende Strategien. Mit Compaction konnte es Erkenntnisse über längere Spielverläufe hinweg bewahren.

OpenAI gibt an, dass die Kombination beider Einstellungen den Wert auf dem öffentlichen Aufgabensatz von 13,3 auf 38,3 Prozent erhöhte und die Zahl der Ausgabetokens um den Faktor sechs senkte. Die Ergebnisse werden als relative menschliche Aktionseffizienz (RHAE) angegeben. Aus offiziellen Spielprotokollen schätzt der Beitrag den Durchschnitt menschlicher Testpersonen auf 48 Prozent. Den Modellen werde die Bewertungsmethode nicht mitgeteilt; außerdem sähen sie während des Spiels weder ihre Punktzahl noch mehr als eine Textdarstellung des jeweiligen Spielbildes und der aktuellen Ebene.

Der Beitrag betont, dass Benchmarks nicht nur Modelle, sondern auch Testgerüste, API-Einstellungen und Prompts messen. OpenAI empfiehlt deshalb für eigene Anwendungen die Responses API, das Beibehalten von Überlegungen und Compaction sowie für Modellvergleiche Tests mit diesen Einstellungen. Die berichteten Zahlen stammen aus OpenAIs eigenen Versuchen; der Text belegt nicht, dass derselbe Effekt für andere Modelle, Benchmarks oder Testbedingungen gilt. Der Beitrag stellt die Einstellungen als näher an der Nutzung in ChatGPT und Codex dar. Das ist die Einordnung des Unternehmens, keine allgemeine unabhängige Bestätigung.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas zwei Zusammenfassungen (kurz und mittel) wurden gemeinsam bewertet; beide geben die Kernaussagen treu wieder, die mittlere Fassung ist vollständiger. Die Einschätzung, die Zahlen belegten nicht allein einen allgemeinen Effekt, ist ein Vorbehalt von Luna und keine Angabe des Berichts, daher nicht als erfunden gewertet.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Bericht nennt 0,4 Prozent für GPT-5.5 und 7,8 Prozent für GPT-5.6 Sol auf dem vollen Benchmark, was in der mittleren Zusammenfassung fehlt.
  • Die Begründung für das bewusst generische Gerüst von ARC (einfaches Gerüst macht Schwächen sichtbar und Vergleiche fairer) fehlt.
  • Die Beispiele Pokémon FireRed, Slay the Spire und Baba Is You sowie der Hinweis auf erste Fortschritte in Spielen fehlen.
  • Die Rolling-Truncation-Grenze von 175.000 Zeichen bzw. Tokens und die Verbesserung von etwa dem Dreifachen Score bei sechsfach weniger Ausgabetokens fehlen als Kennzahl in der mittleren Zusammenfassung.
  • Die Handlungsempfehlungen an API-Entwickler (Responses API, Überlegungen behalten, Compaction) und an Vergleiche von Modellen fehlen.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %einzelne zitierbare Belege
    • amos 26 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %Hintergrund, keine Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 56 %einzelne zitierbare Belege
    • JEV 37 %beantwortet teilweise oder widerspricht
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 25 %Hintergrund, keine Belege
    • d3-ultra 33 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 52 %umfangreiche Belege
    • JEV 53 %beantwortet teilweise oder widerspricht
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 44 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 25 %nur am Rande erwähnt
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

    • SF-A1-T04 Bevor ein Agent weiterarbeitet, nachdem sein bisheriger Arbeitsverlauf für ein neues Kontextfenster zusammengefasst wurde: Wird geprüft, ob diese Zusammenfassung die Anweisungen des Nutzers, die Herkunft wichtiger Fakten und offene Fehler bewahrt? Und wird festgelegt, wann der Agent die Originalaufzeichnung prüfen muss, statt der Zusammenfassung zu vertrauen? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
Modelle teilen und schützen
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 32 %beantwortet teilweise oder widerspricht
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →