Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr3. März 2026 · Q001929

Observations from two CLI game reimplementation runs with Opus 4.6

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

METR zufolge erstellte Opus 4.6 vereinfachte, zunächst überwiegend spielbare Terminalversionen von „Slay the Spire“ und „Balatro“, allerdings mit teils erheblichen Fehlern und fehlenden Funktionen. Die manuelle Prüfung war begrenzt; eine spätere genauere Untersuchung fand zusätzliche Probleme bei „Slay the Spire“, weshalb der Autor aus dem Experiment keine allgemeinen Aussagen über KI-Fähigkeiten oder Entwicklungszeiten ableitet.

Mittel

METR berichtet, dass Opus 4.6 mit einem einfachen Agentengerüst vereinfachte Terminalversionen von „Slay the Spire“ und „Balatro“ erstellen konnte, die der Autor zunächst als überwiegend spielbar einschätzte. Die Aufgaben beschränkten sich auf den Startcharakter beziehungsweise das Startdeck und ließen Fortschrittssysteme sowie Komfortfunktionen aus. Bewertet wurde manuell nach jeweils ungefähr zwei Stunden Spielzeit, ohne festes Punkteschema.

In „Slay the Spire“ waren Kämpfe erkennbar, doch Kartenwirkungen, Gegnerverhalten, Shop und insbesondere die Karte wiesen Fehler oder Lücken auf. Eine spätere, genauere Prüfung offenbarte weitere mäßige Probleme. In „Balatro“ funktionierte laut Autor vieles im Kern, aber die Oberfläche war teils schwer lesbar, einzelne Gutscheine und Tarotkarten waren fehlerhaft, und Tags fehlten. Der Autor spielte einen Lauf bis zum Ende von Ante 8, untersuchte das Spiel jedoch nicht umfassend.

Er schätzt den Aufwand für eine vergleichbare Umsetzung auf zwei bis acht Wochen, betont aber, dass aus diesen vereinfachten, manuell bewerteten Versuchen keine allgemeinen Schlüsse über Spieleentwicklung oder KI-Zeithorizonte folgen. Vollständige spätere Umsetzungsversuche hatten deutliche Mängel. Die Kosten der getesteten Läufe beziffert der Bericht auf ungefähr 20 beziehungsweise 6 US-Dollar.

Ausführlich lesen

Der METR-Bericht beschreibt zwei Versuche, Opus 4.6 mit einem einfachen Agentengerüst spielbare Terminalversionen von „Slay the Spire“ und „Balatro“ erstellen zu lassen. Die Aufgaben waren stark vereinfacht: Bei „Slay the Spire“ gab es nur den Startcharakter, bei „Balatro“ nur das Startdeck. Fortschrittssysteme und Komfortfunktionen wie Speichern, Profile und Einstellungen waren ausgeschlossen. Beide Spiele eignen sich laut Bericht vergleichsweise gut für eine solche Umsetzung, weil sie bekannte Regeln haben, rundenbasiert sind und wichtige Informationen textuell vermitteln. Der Autor erwartete dennoch, dass die Aufgaben für heutige Agenten zu schwierig seien.

Opus 4.6 erhielt insgesamt ein Tokenlimit von 60 Millionen, ein Kontextfenster von 64.000 Tokens, maximale Denkleistung und Internetzugang. Der Autor spielte die Ergebnisse jeweils ungefähr zwei Stunden und bewertete sie manuell, ohne ein festes Punkteschema. Für „Slay the Spire“ untersuchte er den ersten Versuch, für „Balatro“ den zweiten: Der erste Balatro-Versuch hatte eine so unhandliche Oberfläche, dass er stattdessen die Spezifikation für einen weiteren Lauf präzisierte.

Die Kämpfe in der „Slay the Spire“-Umsetzung wirkten zunächst weitgehend vertraut. Der Autor fand jedoch unter anderem fehlerhafte Karteneffekte, fehlende oder nicht aktualisierte Anzeigeelemente und abweichendes Verhalten einzelner Gegner. Im Shop konnte eine Karte zweimal entfernt werden; Angebot und Kartenauswahl stimmten ebenfalls nicht ganz. Besonders deutlich mangelhaft war die Karte: Sie war umständlich zu bedienen und Verbindungen zwischen Feldern waren schwer zu erkennen. Außerdem fehlten Tränke und Ereignisse, manche Relikte und Statuseffekte funktionierten nicht, und die Startboni waren teilweise falsch. Dennoch konnte der Autor – mit Abkürzungen, um schneller voranzukommen – den Endgegner erreichen und besiegen. Ein Update vom 27. Juli 2026 ergänzt, dass eine spätere genauere Untersuchung weitere mäßige Probleme offenbarte, die bei der ersten Bewertung nicht aufgefallen waren.

Bei „Balatro“ war das grundlegende Spiel während einer Blind laut Autor gut wiederzuerkennen, und viele Joker- und Kartenwirkungen schienen zu funktionieren. Es gab aber weniger Rückmeldung zur Punkteberechnung, weil die Beiträge einzelner Karten und Joker nicht sichtbar waren; außerdem fehlten während einer Blind mehrere Informationsansichten. Der Autor ordnet diese Lücken teilweise seiner eigenen Spezifikation zu. Manche Pack-Beschreibungen waren nicht vollständig lesbar, ein Gutschein verursachte einen gravierenden Fehler bei der Kartenauswahl, und im Shop traten doppelte Joker sowie zu viele Gutscheinkäufe auf. Einige Tarotkarten funktionierten, andere nur teilweise oder gar nicht. Tags fehlten; das Überspringen einer Blind hatte daher keine Wirkung. Der Autor spielte einen Lauf bis zum Ende von Ante 8, betont aber, das Spiel nicht umfassend geprüft zu haben.

Der Autor schätzt, dass die Umsetzung auf dem erreichten Qualitätsniveau für ihn zwei bis acht Wochen Arbeit bedeutet hätte; innerhalb von METR gingen die Einschätzungen auseinander. Er sieht das Experiment als überraschenden Hinweis auf die technischen Fähigkeiten des Modells, hält es wegen der vereinfachten Aufgaben, der manuellen Bewertung und der begrenzten Spieltests jedoch nicht für ausreichend, um allgemeine Aussagen über Spieleentwicklung oder Zeithorizonte abzuleiten. Spätere Versuche mit vollständigen Spielumsetzungen lieferten laut Bericht keine überzeugenden Resultate: „Slay the Spire“ hatte offensichtliche Probleme mit dem Fortschrittssystem, „Balatro“ eine unspielbare Oberfläche. Die angegebenen Kosten der beiden getesteten Läufe lagen ungefähr bei 20 US-Dollar für „Slay the Spire“ und 6 US-Dollar für „Balatro“.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas kurze und mittlere Zusammenfassung wurden beide geprüft; die mittlere ist Grundlage der Bewertung. Die kurze Fassung ist sinngemäß treu, nur die Begründung der Aufgabenwahl fehlt auch dort. Die Angaben Stufe und Anteil in Lunas Einordnung wurden nicht übernommen, und die Teilfragen-Liste ist leer.

Im Bericht, aber nicht in der Zusammenfassung

  • Methodik: einfaches ReAct-Gerüst, Budget von 60 Millionen Token, Kontextfenster 64.000 Token und automatische Zusammenfassung ab 75 % Auslastung
  • Begründung der Aufgabenwahl: textbasiert, rundenbasiert, klar definierte Regeln und gut dokumentiert
  • Einschätzung des Autors, dass die Aufgabe vor allem Ingenieursarbeit und kein Spieldesign prüft

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 29 %gleiches Oberthema, hilft nicht
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 42 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 27 %gleiches Oberthema, hilft nicht
    • Luna 36 %einzelne zitierbare Belege
    • JEV 42 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra 61 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
  3. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 27 %gleiches Oberthema, hilft nicht
    • Luna 32 %Hintergrund, keine Belege
    • JEV 33 %gleiches Oberthema, hilft nicht
    • amos 27 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 66 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 55 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 65 %Hintergrund, keine Belege
    • JEV 59 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
Modelle teilen und schützen
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 40 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 30 %Hintergrund, keine Belege
    • amos 54 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →