How well can AI play Slay the Spire?
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Bericht ist ein Auszug: Er schildert SpireClimb und StS1-Ergebnisse, aber keine vollständigen StS2-Resultate. Auf Ascension 0 erzielten fünf von sieben Modellen mindestens 83 Prozent Siege; auf Ascension 20 mit Heart erreichten die besten Modelle 20 beziehungsweise 17 Prozent und blieben damit weit hinter menschlichen Spitzenleistungen. Die Autoren weisen auf mögliche Verzerrungen durch die grafische Oberfläche, breite Unsicherheiten und eine mögliche Benchmarksättigung hin.
Mittel
Der bereitgestellte Bericht ist ein Auszug: Er beschreibt SpireClimb und Ergebnisse für Slay the Spire 1 (StS1), enthält aber keine vollständige Darstellung der Resultate für Slay the Spire 2 (StS2); dazu sind nur gekürzte Bildbeschreibungen vorhanden.
Epoch AI entwickelte SpireClimb, um KI-Modelle vergleichbarer zu testen und ihre Fähigkeit zur Bedienung einer grafischen Spieloberfläche einzubeziehen. Pro Spielfigur gab es 15 Einzelversuche mit festgelegten Seeds. Notizen und das Spiel-Wiki waren erlaubt. Auf Ascension 0 erreichten fünf von sieben getesteten Modellen mindestens 83 Prozent Siege; GPT-6 Astra kam auf 98 Prozent. Auf Ascension 20 mit dem Heart als zusätzlichem Endgegner gewannen GPT-6.1 Sol 20 Prozent der Versuche und GPT-6 Astra 17 Prozent. Die übrigen Modelle lagen bei höchstens 2 Prozent. Laut Epoch ist das ein deutlicher Fortschritt, doch die Ergebnisse bleiben weit unter denen der besten menschlichen Spieler. Die Raten je Spielfigur schwankten, ihre Unsicherheitsbereiche überschnitten sich jedoch stark.
Als Grenzen nennt der Bericht mögliche Bedienfehler und den Einfluss der Oberfläche auf die Entscheidungsqualität. Zudem könnte gezieltes Training den Benchmark sättigen; bei StS2 kann die getestete Spielversion mit der öffentlichen Version auseinanderlaufen.
Ausführlich lesen
Der bereitgestellte Bericht ist ein Auszug: Er erläutert den neuen Benchmark SpireClimb und berichtet ausführlich über Slay the Spire 1 (StS1), enthält aber keine vollständige Ergebnisdarstellung zu Slay the Spire 2 (StS2). Am Ende stehen nur gekürzte Bildbeschreibungen zu StS2. Aussagen zu dessen konkreten Modellresultaten lassen sich daraus nicht zuverlässig ableiten.
Epoch AI zufolge haben sich die Fähigkeiten aktueller KI-Modelle in StS1 rasch verbessert. Frühere Versuche waren wegen unterschiedlicher Testumgebungen, erlaubter Hilfen und getesteter Modelle nur eingeschränkt vergleichbar. SpireClimb soll eine einheitlichere Messung ermöglichen und zugleich die Fähigkeit zum Spielen über eine grafische Oberfläche erfassen. Die Modelle spielten in einem visuellen Computerbedienungs-Harness auf hoher Schwierigkeit. Für jede Spielfigur gab es 15 einzelne Versuche mit festgelegten, willkürlich gewählten Seeds. Die Modelle durften Notizen für spätere Gesprächskontexte führen und das Spiel-Wiki nutzen. Nach Darstellung der Autoren gewinnen die getesteten Spitzen- und nahezu Spitzenmodelle Ascension 0, die leichteste Stufe, unter diesen Bedingungen bereits sehr häufig.
Bei StS1 auf Ascension 0 lagen die berichteten Siegraten zwischen 25 Prozent für GPT-6 Luna und 98 Prozent für GPT-6 Astra; GPT-6.1 Sol erreichte 97 Prozent. Fünf von sieben Modellen kamen auf mindestens 83 Prozent. Die Autoren vermuten, dass der jüngste Leistungsanstieg auf bessere Computerbedienung, allgemein bessere Spielfähigkeiten und möglicherweise gezieltes Training mit StS1 zurückgeht. Da die Modelle schon viel spezifisches Spielwissen zeigten und auch ältere Modelle solches Wissen aufwiesen, erklären sie die Ergebnisse nicht allein durch neu erworbenes Spielwissen.
Auf der Höchstschwierigkeit Ascension 20 mit dem zusätzlichen Ziel, den Heart zu besiegen, fielen die Ergebnisse deutlich niedriger aus. GPT-6.1 Sol gewann 20 Prozent seiner Versuche, GPT-6 Astra 17 Prozent und GPT-6 Sol 2 Prozent; die drei übrigen getesteten Modelle gewannen keinen Versuch. Epoch bewertet den Anstieg auf 20 Prozent gegenüber zuvor berichteten null Prozent als großen Fortschritt, betont aber, dass selbst diese Modelle weit hinter den besten menschlichen Spielern liegen. Sols Erfolgsraten unterschieden sich nach Figur: 33 Prozent mit Watcher, 27 Prozent mit Ironclad, 20 Prozent mit Defect und null Prozent mit Silent. Die Unsicherheitsbereiche überlappten stark. Die Autoren halten es daher für möglich, dass die Unterschiede nicht belastbar sind; auch Astras einzelne Silent-Gewinnrunde lasse sich statistisch nicht klar von Sols Ergebnis unterscheiden.
Der Bericht nennt Grenzen des Verfahrens: Das Spielen über die grafische Oberfläche kann Denkfähigkeiten unvollständig sichtbar machen, weil Bedienfehler vorkommen und die Oberfläche schnellere statt gründlichere Entscheidungen begünstigen kann. Zugleich sehen die Autoren den Test als Näherung an Bedingungen, unter denen Menschen spielen. SpireClimb könnte zudem als Trainingsziel an Aussagekraft verlieren, wenn Modelle den Benchmark bald gezielt einüben. Für StS2 weisen die Fußnoten außerdem darauf hin, dass die getestete Spielversion mit der Zeit von der öffentlich gespielten Version abweichen kann. Epoch will beide Spiele weiter auf hoher Schwierigkeit testen und die Infrastruktur auch für weitere Spiele nutzen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 49 %einzelne zitierbare Belege
- JEV 43 %umfangreiche Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3-T06 Wenn getrennte Sicherheitsprüfungen Repositorien, Zwischenspeicher oder andere beschreibbare Dienste teilen: Wie zeigt man, dass Modellinstanzen zwischen den Läufen keine Informationen austauschen und dadurch das gemeldete Ergebnis ungültig machen können?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 50 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 42 %einzelne zitierbare Belege
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 32 %gleiches Oberthema, hilft nicht
- JEV 26 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %einzelne zitierbare Belege
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %gleiches Oberthema, hilft nicht
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv