Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch7. Oktober 2026 · Q004298

EBR-bench update

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch verbietet in EBR-bench künftig eine Kartenkombination, mit der GPT-6 Astra unbegrenzt viele Spielzüge machen und im ursprünglichen Benchmark durchschnittlich 19,8 von 21 Zielen erreichen konnte. Ohne die Karte erzielte Astra im Mittel 16 Punkte und blieb stark, zeigte laut Epoch aber Schwächen bei taktischer Ermüdungsvermeidung. Kleine Multi-Agenten-Versuche erhöhten teils die Deckvielfalt, nicht jedoch nachweisbar die Gesamtpunktzahlen.

Mittel

Epoch AI aktualisiert EBR-bench, einen Benchmark, in dem Modelle durch das Brettspiel *Earthborne Rangers* ihre Fähigkeit zum Lernen, Erkunden und strategischen Spielen über längere Aufgaben hinweg zeigen sollen. Anlass ist GPT-6 Astra: In der ursprünglichen Version erzielte es im Durchschnitt 19,8 von 21 Zielen und erreichte oft die Höchstpunktzahl, indem es eine bestimmte Kartenkombination nutzte. Diese kann unbegrenzt viele Spielzüge ermöglichen und damit die zentrale Ermüdungsmechanik umgehen. Epoch fand keine direkten Hinweise auf Betrug, hält die Strategie aber für zu dominant, um die beabsichtigten Fähigkeiten zu messen, und verbietet die Karte künftig im Standardversuch.

Mit dem Verbot kam Astra im Mittel auf 16 von 21, erreichte als Bestwert 20 und lag weiterhin deutlich vor früheren Modellen. Laut den Forschenden bleibt es bei der Verringerung von Ermüdung hinter den besten Menschen zurück und zeigt darin keine erkennbare Verbesserung über die Zeit. Bei drei weiteren Modellen veränderte das Kartenverbot die Punktzahlen nicht signifikant. Neue Werte unter den geänderten Regeln werden für vier benannte Modelle und künftige Modelle ausgewiesen.

Kleine Multi-Agenten-Versuche förderten meist vielfältigere Decks, signifikant jedoch nur bei Claude Opus 5. Die Gesamtpunktzahlen veränderten sich nicht signifikant. Die Versuche erlaubten bis zu vier Unteragenten und zehn Partien, waren also begrenzt. Epoch erwartet, dass der Benchmark bald ausgeschöpft ist, und reduziert künftig unter anderem die Stichprobe von zehn auf fünf Durchläufe.

Ausführlich lesen

Der Bericht beschreibt Änderungen an EBR-bench, einem von Epoch AI entwickelten Benchmark, bei dem Modelle das komplexe Brettspiel *Earthborne Rangers* spielen. Die Forschenden wollen damit prüfen, wie gut Modelle aus Erfahrung lernen, verschiedene Kartendecks erkunden und über mehrere Spielzüge hinweg strategisch und taktisch besser werden. Eine Partie dauert Menschen ungefähr zwei bis vier Stunden und dient so als Beispiel für eine längerfristige, mehrschrittige Aufgabe.

Die wichtigste Änderung betrifft eine Karte, die in Kombination mit anderen Karten unbegrenzt viele Spielzüge ermöglichen kann. GPT-6 Astra erreichte in der ursprünglichen Benchmark-Version im Durchschnitt 19,8 von 21 Zielen und schaffte in mehr als der Hälfte seiner Versuche die Höchstpunktzahl. Laut Epoch erzielte Astra seine besten Ergebnisse mit dieser Karte. Die Forschenden fanden keine direkten Hinweise auf Auswendiglernen oder Betrug: Der Einsatz der Karte sei regelkonform gewesen und habe auch einem menschlichen Spitzenkandidaten zum Maximum verholfen. Allerdings umgeht die Kombination die zentrale Ermüdungsmechanik des Spiels. Dadurch kann sie die Aufgabe auf eine einzelne dominante Lösung reduzieren, statt taktisches Spiel und Erkundung unterschiedlicher Strategien zu messen. Epoch nimmt die Karte deshalb aus dem Standardversuch heraus, will sie aber weiterhin in internen Experimenten zulassen.

Der Ausschluss verändert die Vergleichbarkeit mit älteren Ergebnissen. Epoch untersuchte daher drei weitere Modelle, die die Karte teilweise nutzten, ihr Potenzial aber nicht ausschöpften. Bei ihnen habe das Verbot die Gesamtpunktzahlen nicht statistisch signifikant verändert; die Effekte wiesen in unterschiedliche Richtungen. Deshalb will Epoch ältere Ergebnisse nicht flächendeckend neu berechnen, sondern neue Werte unter den geänderten Regeln für Claude Fable 5.1, Claude Opus 5, GPT-5.6 Sol und GPT-6 Astra sowie für künftige Modelle ausweisen.

Mit dem Kartenverbot sank Astras durchschnittlicher Wert laut Bericht auf 16 von 21; sein bestes Ergebnis lag bei 20 von 21. Das liegt weiterhin ungefähr 50 Prozent über den zuvor stärksten Modellen. Astra baute Decks, die denen menschlicher Teilnehmender ähnelten. Die Forschenden schätzen seine Leistung dennoch etwas schwächer als die der besten Menschen ein: Astra minimiere die Ermüdung nur mäßig und verbessere sich darin über die Zeit nicht erkennbar. Ohne die Karte stieg Astra laut den beschriebenen Versuchen von 11 Zielen im ersten Durchlauf auf 21 im zweiten; der beste menschliche Vergleichsspieler benötigte sechs Durchläufe, um von 1 auf 21 zu kommen.

Zusätzlich untersuchte Epoch kleine Multi-Agenten-Aufbauten: Bis zu vier Helfermodelle konnten parallel spielen, Notizen austauschen und Aufgaben übernehmen; insgesamt standen wie im Einzelagenten-Versuch zehn Durchläufe zur Verfügung. Bei den vier getesteten Modellen nahm die Deckvielfalt meist zu, statistisch signifikant war das aber nur bei Claude Opus 5. Die Gesamtpunktzahlen änderten sich nicht signifikant und nicht einheitlich in eine Richtung. Die Autoren folgern daher, dass Unteragenten in diesem Setting nicht automatisch bessere Ergebnisse hervorbringen. Die Experimente waren klein und bilden laut Bericht keinen großen Agentenschwarm ab.

Epoch erwartet, dass EBR-bench innerhalb weniger Monate vollständig ausgeschöpft sein könnte. Für die künftigen Versuche sollen außerdem zwei unterschiedliche Einstellungen für Kompaktierung nicht mehr parallel getestet, Läufe mit 18 Partien eingestellt und die Stichprobe von zehn auf fünf Durchläufe verkleinert werden. Die Autoren bezeichnen diese Anpassungen als letzte Änderungen an EBR-bench und wollen danach komplexere Spiele zur Bewertung von KI-Fähigkeiten nutzen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich nur auf den Berichtstext und bewertet den Bezug zu jeder Frage, nicht deren Qualität. Lunas Anteilswerte und Stufen wurden nicht übernommen.

Im Bericht, aber nicht in der Zusammenfassung

  • Astra lernte die Spielregeln und Karten sehr schnell, oft in unter zwei Durchläufen, was Epoch als außergewöhnliche Lernfähigkeit wertet
  • Die Karte wurde auch vom besten menschlichen Teilnehmer legitim genutzt, und der Zweitplatzierte erreichte 100 % ohne sie
  • Epoch räumt ein, die Karte beim Entwurf des Benchmarks übersehen und die Folgen unterschätzt zu haben
  • Das Verbot betrifft den Standardversuch und damit den ECI-Wert, während Epoch interne Läufe mit erlaubter Karte weiterführt

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 21 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 28 %Hintergrund, keine Belege
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %umfangreiche Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 48 %beantwortet teilweise oder widerspricht
    • amos 26 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 19 %gleiches Oberthema, hilft nicht
    • Luna 71 %umfangreiche Belege
    • JEV 42 %umfangreiche Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 23 %einzelne zitierbare Belege
    • d3-ultra 46 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 62 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 49 %einzelne zitierbare Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 49 %umfangreiche Belege
    • JEV 31 %umfangreiche Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 25 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →