Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com14. Oktober 2026 · Q010997

Claude Opus 5 Went From 30% to 100% on the Hardest AI Benchmark. The Benchmark’s Owner Won’t Count It.

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Autor berichtet, dass drei Systeme auf den 25 öffentlichen ARC-AGI-3-Demospielen 100 Punkte erreichten, diese Werte nach den Regeln und der Bewertung des Benchmark-Erstellers aber nicht als offizielle Belege zählen. Unterschiede in Speicher, Agenten-Harness und Testbedingungen beeinflussen die Ergebnisse; der Bericht fordert unabhängige Tests auf halbprivaten Spielen und transparentere Angaben.

Mittel

Der Artikel ordnet drei gemeldete perfekte Ergebnisse beim Benchmark ARC-AGI-3 ein: Nvidia AVO, MITs VISTA und Memento 3 erreichten laut ihren Veröffentlichungen jeweils 100 Punkte, aber nur auf den 25 öffentlichen Demonstrationsspielen. Der Benchmark enthält zusätzlich 55 halbprivate und 55 private Spiele. Der Autor verweist auf ARC Prizes technische Regeln: Öffentliche Ergebnisse sollen nicht in die offizielle Rangliste eingehen; ausgeschlossen seien zudem Systeme, die mit Kenntnis dieser Spiele darauf zugeschnitten wurden. Er folgert, dass die drei Resultate diese Kriterien nicht erfüllen.

Die Systeme unterscheiden sich vor allem durch ihre Hilfskonstruktionen: Speicher und Aufsicht bei AVO, Bildverarbeitung bei VISTA und ein lernendes, in Python umgesetztes Regelbuch bei Memento 3. VISTA-Forschende können laut Bericht eine Aufnahme der öffentlichen Spiele in Trainingsdaten nicht ausschließen; das verwendete Modell von Memento 3 sei in der Berichterstattung nicht klar benannt. Ein von ARC Prize veröffentlichtes Werkzeug erreicht durch das Abspielen menschlicher Züge ebenfalls 100 auf den öffentlichen Spielen. Das beweise keinen Betrug, zeige aber die begrenzte Aussagekraft dieses Werts.

Als stärkeren Vergleich nennt der Autor GPT-6 Astra auf halbprivaten Spielen: Je nach Harness reichte das Ergebnis von 62,7 bis 99,9 Prozent. Daraus folgert er, dass die Testumgebung den Wert stark beeinflussen kann. Er hält die drei 100er für interessante Systemdemonstrationen, aber nicht für einen Beleg, ARC-AGI-3 sei gelöst. Unabhängige Tests auf halbprivaten Spielen und klarere Angaben zu Modellen und Kosten fehlten.

Ausführlich lesen

Der Bericht untersucht drei im Abstand weniger Wochen veröffentlichte Ergebnisse, die jeweils einen perfekten Wert von 100 beim interaktiven Puzzle-Benchmark ARC-AGI-3 melden: Nvidias AVO, das MIT-System VISTA sowie Memento 3 von Forschenden des University College London und Huawei. Der Autor stellt heraus, dass alle drei Ergebnisse ausschließlich auf den 25 öffentlichen Demonstrationsspielen beruhen. ARC-AGI-3 umfasst außerdem 55 halbprivate und 55 private Spiele, die in diesen Meldungen nicht ausgewertet wurden. Zwei Systeme verwendeten laut Bericht Claude Opus 5, obwohl ARC Prize das Modell im Juli mit 30,2 Prozent bewertet hatte.

Der Autor vergleicht die unterschiedlichen Agentenkonstruktionen anhand der veröffentlichten Arbeiten und Angaben. AVO kombiniert Opus 5 mit dauerhaftem Speicher und einer programmatischen Aufsicht, die bei Stillstand eingreift. VISTA verarbeitet Bildschirmbilder und meldet auf den öffentlichen Spielen 100 mit Opus 5 sowie 99 mit GPT-5.6 Sol. Die Forschenden räumen laut Artikel ein, dass ein Test auf privaten Spielen aussagekräftiger wäre und sie eine Aufnahme dieser Spiele in Trainingsdaten nicht ausschließen können. Memento 3 arbeitet mit einem veränderlichen Regelbuch, das in ein Python-Weltmodell übersetzt und nach Fehlvorhersagen angepasst wird; die Arbeit meldet, alle 25 öffentlichen Spiele mit weniger Aktionen als die menschliche Referenz abgeschlossen zu haben. Der Artikel kritisiert, dass die Berichterstattung das zugrunde liegende Modell von Memento 3 nicht benennt.

Als zentrale Einschränkung führt der Autor ARC Prizes technischen Bericht vom April an. Demnach seien die öffentlichen Demonstrationsspiele bewusst leichter gestaltet, und ARC Prize wolle deren Ergebnisse nicht in die offizielle Rangliste aufnehmen. Die Regeln schlössen außerdem Agenten aus, die mit Kenntnis der öffentlichen Spiele entwickelt und anschließend auf ihnen bewertet wurden, sowie speziell für ARC-AGI-3 gebaute Testumgebungen. Der Autor folgert, dass die drei perfekten Werte diese Bedingungen nicht erfüllen. Er weist zudem auf einen Widerspruch zwischen technischem Bericht und Einreichungsregeln zur Schwierigkeit der öffentlichen und halbprivaten Spiele hin, der laut Artikel ungeklärt bleibt.

Ein perfekter Wert auf dem öffentlichen Teil sei außerdem wenig aussagekräftig, weil ARC Prize selbst ein Werkzeug veröffentlicht habe, das durch Wiederholung menschlicher Spielzüge 100 Prozent erreicht. Das belege laut Autor keinen Betrug durch AVO, VISTA oder Memento 3; es zeige vielmehr, dass dieser Wert auf dem öffentlichen Satz allein keine belastbare Aussage über Intelligenz darstelle. Auch eine nicht verifizierte Community-Rangliste habe bereits vor Nvidias Ankündigung mehrere Werte nahe oder bei 100 enthalten.

Als aussagekräftigeren Vergleich beschreibt der Bericht ARC Prizes eigenen Test von GPT-6 Astra auf den 55 halbprivaten Spielen: 62,7 Prozent mit einem Standard-Harness und 96,7 bis 99,9 Prozent mit einem Provider-Adapter. Der Autor betont, dass der Unterschied bei gleichem Modell die starke Wirkung des Test-Harnesses zeige. Er fordert für die drei Systeme unabhängige Tests auf halbprivaten Spielen, Klarheit darüber, ob externe Harnesses verifiziert werden können, sowie konsistente Angaben zu Modellen und Kosten. Seine Schlussfolgerung: Die 100er-Werte seien interessante Systemdemonstrationen auf einem öffentlichen Demonstrationssatz, aber kein Beleg dafür, dass das Benchmark-Problem gelöst sei. Die Bewertung beruht auf der im Artikel wiedergegebenen Dokumentation und den dort genannten Quellen; der Autor kann mögliche Trainingsdaten-Kontamination nicht klären.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassung wurde am mittleren Text geprüft. Der kurze Text nennt Astras Ergebnisse und ist insgesamt treu, enthält aber ebenfalls keine erfundenen Angaben. Die Einordnung fällt niedrig aus, weil der Bericht einen Benchmark-Artikel zu ARC-AGI-3 darstellt und die Sammelfragen zur Governance von KI-Sicherheit betreffen.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Sprung von Claude Opus 5 von 30,2 % auf 100 % bei unverändertem Modell und die Rolle des Harness dabei
  • Das verifizierte Ergebnis von GPT-6 Astra auf den halbprivaten Spielen: 62,7 % mit Standard-Harness gegenüber 96,7 bis 99,9 % mit Provider Adapter
  • Die unverifizierten Leaderboard-Einträge vor Nvidias Ankündigung, darunter Tycho mit 100 %

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 24 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 24 %Hintergrund, keine Belege
    • SubQ 25 %gleiches Oberthema, hilft nicht
    • drex 23 %Hintergrund, keine Belege
    • d3-ultra 50 %gleiches Oberthema, hilft nicht

    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 48 %beantwortet direkt und ausführlich
    • amos 28 %einzelne zitierbare Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-F2-T03 Ein Minister beschreibt Risiken durch Spionage und Datenabfluss, etwa über quelloffene KI-Agentenwerkzeuge, und durch ein Ungleichgewicht in der technologischen Entwicklung, das Monopole und Technologiebeschränkungen verschärfen. Welche veröffentlichten Belege würden diese Risiken an der Fähigkeit eines Modells statt an seiner Herkunft festmachen? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 0 · kein Bezug
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 54 %Hintergrund, keine Belege
    • JEV 49 %beantwortet teilweise oder widerspricht
    • amos 29 %einzelne zitierbare Belege
    • SubQ 35 %gleiches Oberthema, hilft nicht
    • drex 25 %einzelne zitierbare Belege
    • d3-ultra 45 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-F4-T03 Welche neue Prüfung braucht jeder Einsatz, wenn Fähigkeiten zunehmend im Nachdenken des Modells während der Nutzung stecken statt in einem einmal trainierten Modell, und würden die für ein festes Modell gebauten Freigabetests das noch erfassen? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 23 %Hintergrund, keine Belege
    • JEV 37 %beantwortet teilweise oder widerspricht
    • amos 25 %einzelne zitierbare Belege
    • SubQ 30 %gleiches Oberthema, hilft nicht
    • drex 30 %gleiches Oberthema, hilft nicht
    • d3-ultra 44 %gleiches Oberthema, hilft nicht

  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 44 %umfangreiche Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 28 %gleiches Oberthema, hilft nicht
    • d3-ultra 42 %gleiches Oberthema, hilft nicht
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 16 %gleiches Oberthema, hilft nicht
    • Luna 44 %umfangreiche Belege
    • JEV 43 %beantwortet teilweise oder widerspricht
    • amos 29 %einzelne zitierbare Belege
    • SubQ 34 %einzelne zitierbare Belege
    • drex 35 %einzelne zitierbare Belege
    • d3-ultra 36 %einzelne zitierbare Belege
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 24 %gleiches Oberthema, hilft nicht
    • Luna 54 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 18 %umfangreiche Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 38 %gleiches Oberthema, hilft nicht
    • JEV 45 %einzelne zitierbare Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 37 %umfangreiche Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 24 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 38 %gleiches Oberthema, hilft nicht
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 27 %Hintergrund, keine Belege
    • JEV 42 %umfangreiche Belege
    • amos 26 %nur am Rande erwähnt
    • SubQ 35 %gleiches Oberthema, hilft nicht
    • drex 25 %gleiches Oberthema, hilft nicht
    • d3-ultra 46 %gleiches Oberthema, hilft nicht
  2. SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 28 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %einzelne zitierbare Belege
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →