Observations from two CLI game reimplementation runs with Opus 4.6
Zusammenfassung
Kurz
METR zufolge erstellte Opus 4.6 vereinfachte, zunächst überwiegend spielbare Terminalversionen von „Slay the Spire“ und „Balatro“, allerdings mit teils erheblichen Fehlern und fehlenden Funktionen. Die manuelle Prüfung war begrenzt; eine spätere genauere Untersuchung fand zusätzliche Probleme bei „Slay the Spire“, weshalb der Autor aus dem Experiment keine allgemeinen Aussagen über KI-Fähigkeiten oder Entwicklungszeiten ableitet.
Mittel
METR berichtet, dass Opus 4.6 mit einem einfachen Agentengerüst vereinfachte Terminalversionen von „Slay the Spire“ und „Balatro“ erstellen konnte, die der Autor zunächst als überwiegend spielbar einschätzte. Die Aufgaben beschränkten sich auf den Startcharakter beziehungsweise das Startdeck und ließen Fortschrittssysteme sowie Komfortfunktionen aus. Bewertet wurde manuell nach jeweils ungefähr zwei Stunden Spielzeit, ohne festes Punkteschema.
In „Slay the Spire“ waren Kämpfe erkennbar, doch Kartenwirkungen, Gegnerverhalten, Shop und insbesondere die Karte wiesen Fehler oder Lücken auf. Eine spätere, genauere Prüfung offenbarte weitere mäßige Probleme. In „Balatro“ funktionierte laut Autor vieles im Kern, aber die Oberfläche war teils schwer lesbar, einzelne Gutscheine und Tarotkarten waren fehlerhaft, und Tags fehlten. Der Autor spielte einen Lauf bis zum Ende von Ante 8, untersuchte das Spiel jedoch nicht umfassend.
Er schätzt den Aufwand für eine vergleichbare Umsetzung auf zwei bis acht Wochen, betont aber, dass aus diesen vereinfachten, manuell bewerteten Versuchen keine allgemeinen Schlüsse über Spieleentwicklung oder KI-Zeithorizonte folgen. Vollständige spätere Umsetzungsversuche hatten deutliche Mängel. Die Kosten der getesteten Läufe beziffert der Bericht auf ungefähr 20 beziehungsweise 6 US-Dollar.
Ausführlich lesen
Der METR-Bericht beschreibt zwei Versuche, Opus 4.6 mit einem einfachen Agentengerüst spielbare Terminalversionen von „Slay the Spire“ und „Balatro“ erstellen zu lassen. Die Aufgaben waren stark vereinfacht: Bei „Slay the Spire“ gab es nur den Startcharakter, bei „Balatro“ nur das Startdeck. Fortschrittssysteme und Komfortfunktionen wie Speichern, Profile und Einstellungen waren ausgeschlossen. Beide Spiele eignen sich laut Bericht vergleichsweise gut für eine solche Umsetzung, weil sie bekannte Regeln haben, rundenbasiert sind und wichtige Informationen textuell vermitteln. Der Autor erwartete dennoch, dass die Aufgaben für heutige Agenten zu schwierig seien.
Opus 4.6 erhielt insgesamt ein Tokenlimit von 60 Millionen, ein Kontextfenster von 64.000 Tokens, maximale Denkleistung und Internetzugang. Der Autor spielte die Ergebnisse jeweils ungefähr zwei Stunden und bewertete sie manuell, ohne ein festes Punkteschema. Für „Slay the Spire“ untersuchte er den ersten Versuch, für „Balatro“ den zweiten: Der erste Balatro-Versuch hatte eine so unhandliche Oberfläche, dass er stattdessen die Spezifikation für einen weiteren Lauf präzisierte.
Die Kämpfe in der „Slay the Spire“-Umsetzung wirkten zunächst weitgehend vertraut. Der Autor fand jedoch unter anderem fehlerhafte Karteneffekte, fehlende oder nicht aktualisierte Anzeigeelemente und abweichendes Verhalten einzelner Gegner. Im Shop konnte eine Karte zweimal entfernt werden; Angebot und Kartenauswahl stimmten ebenfalls nicht ganz. Besonders deutlich mangelhaft war die Karte: Sie war umständlich zu bedienen und Verbindungen zwischen Feldern waren schwer zu erkennen. Außerdem fehlten Tränke und Ereignisse, manche Relikte und Statuseffekte funktionierten nicht, und die Startboni waren teilweise falsch. Dennoch konnte der Autor – mit Abkürzungen, um schneller voranzukommen – den Endgegner erreichen und besiegen. Ein Update vom 27. Juli 2026 ergänzt, dass eine spätere genauere Untersuchung weitere mäßige Probleme offenbarte, die bei der ersten Bewertung nicht aufgefallen waren.
Bei „Balatro“ war das grundlegende Spiel während einer Blind laut Autor gut wiederzuerkennen, und viele Joker- und Kartenwirkungen schienen zu funktionieren. Es gab aber weniger Rückmeldung zur Punkteberechnung, weil die Beiträge einzelner Karten und Joker nicht sichtbar waren; außerdem fehlten während einer Blind mehrere Informationsansichten. Der Autor ordnet diese Lücken teilweise seiner eigenen Spezifikation zu. Manche Pack-Beschreibungen waren nicht vollständig lesbar, ein Gutschein verursachte einen gravierenden Fehler bei der Kartenauswahl, und im Shop traten doppelte Joker sowie zu viele Gutscheinkäufe auf. Einige Tarotkarten funktionierten, andere nur teilweise oder gar nicht. Tags fehlten; das Überspringen einer Blind hatte daher keine Wirkung. Der Autor spielte einen Lauf bis zum Ende von Ante 8, betont aber, das Spiel nicht umfassend geprüft zu haben.
Der Autor schätzt, dass die Umsetzung auf dem erreichten Qualitätsniveau für ihn zwei bis acht Wochen Arbeit bedeutet hätte; innerhalb von METR gingen die Einschätzungen auseinander. Er sieht das Experiment als überraschenden Hinweis auf die technischen Fähigkeiten des Modells, hält es wegen der vereinfachten Aufgaben, der manuellen Bewertung und der begrenzten Spieltests jedoch nicht für ausreichend, um allgemeine Aussagen über Spieleentwicklung oder Zeithorizonte abzuleiten. Spätere Versuche mit vollständigen Spielumsetzungen lieferten laut Bericht keine überzeugenden Resultate: „Slay the Spire“ hatte offensichtliche Probleme mit dem Fortschrittssystem, „Balatro“ eine unspielbare Oberfläche. Die angegebenen Kosten der beiden getesteten Läufe lagen ungefähr bei 20 US-Dollar für „Slay the Spire“ und 6 US-Dollar für „Balatro“.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas kurze und mittlere Zusammenfassung wurden beide geprüft; die mittlere ist Grundlage der Bewertung. Die kurze Fassung ist sinngemäß treu, nur die Begründung der Aufgabenwahl fehlt auch dort. Die Angaben Stufe und Anteil in Lunas Einordnung wurden nicht übernommen, und die Teilfragen-Liste ist leer.
Im Bericht, aber nicht in der Zusammenfassung
- Methodik: einfaches ReAct-Gerüst, Budget von 60 Millionen Token, Kontextfenster 64.000 Token und automatische Zusammenfassung ab 75 % Auslastung
- Begründung der Aufgabenwahl: textbasiert, rundenbasiert, klar definierte Regeln und gut dokumentiert
- Einschätzung des Autors, dass die Aufgabe vor allem Ingenieursarbeit und kein Spieldesign prüft
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 58 %Hintergrund, keine Belege
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 42 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 27 %gleiches Oberthema, hilft nicht
- Luna 36 %einzelne zitierbare Belege
- JEV 42 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 31 %gleiches Oberthema, hilft nicht
- d3-ultra 61 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 29 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 27 %gleiches Oberthema, hilft nicht
- Luna 32 %Hintergrund, keine Belege
- JEV 33 %gleiches Oberthema, hilft nicht
- amos 27 %Hintergrund, keine Belege
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 66 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 55 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 65 %Hintergrund, keine Belege
- JEV 59 %einzelne zitierbare Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 59 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %nur am Rande erwähnt
- amos 26 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 73 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %nur am Rande erwähnt
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 64 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %nur am Rande erwähnt
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 30 %Hintergrund, keine Belege
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv