OpenAI Five Benchmark
Zusammenfassung
Kurz
Der Bericht kündigt ein OpenAI-Five-Dota-Benchmarkspiel gegen sehr hoch eingestufte menschliche Spieler für den 5. August an und beschreibt Fortschritte bei Spielmechaniken, Heldenauswahl und Reaktionszeit. Die überlieferte Regelliste widerspricht teilweise der Aussage, Einschränkungen bei Wards, Roshan und Spiegelpartien seien aufgehoben; außerdem enthält der Text keine Ergebnisse des angekündigten Spiels.
Mittel
Der Bericht kündigt für den 5. August in San Francisco ein OpenAI-Five-Benchmarkspiel gegen ein menschliches Dota-2-Team an. Geplant ist eine Best-of-three-Serie gegen Spieler im 99,95. Perzentil, begleitet von einer Twitch-Übertragung; zuvor sollen Aufwärmrunden mit Zuschauern stattfinden. OpenAI beschreibt dies als nächsten Schritt, nachdem ein früheres System Profis in Dota eins gegen eins besiegt und OpenAI Five zuletzt Amateurteams im vollständigen Spiel geschlagen habe. Das Ereignis solle zeigen, ob das System bis Ende August das Niveau der Spitzenprofis erreichen könne.
Als Fortschritte nennt der Text Wards, Roshan, einen Heldenpool von 18 Figuren und eine auf 200 Millisekunden erhöhte Reaktionszeit. Das Unternehmen führt Teamarbeit und Koordination als wichtigere Stärken als Reflexe an und berichtet, keine spielerischen Änderungen durch die längere Reaktionszeit beobachtet zu haben. Die Regelliste enthält Einschränkungen zu Gegenständen, Beschwörungen, Illusionen, Kurieren, Scan und Unsichtbarkeit. Bei Wards, Roshan und Spiegelpartien widerspricht die sichtbare Liste teilweise der Einleitung, die deren Einschränkungen als aufgehoben bezeichnet. Da die angekündigten Durchstreichungen in der bereitgestellten Fassung nicht sichtbar sind, bleibt der genaue Regelstand unklar. Der Text kündigt das Ereignis an, berichtet aber nicht über dessen Ausgang.
Ausführlich lesen
Der Bericht kündigt für den 5. August in San Francisco ein öffentliches OpenAI Five-Benchmarkspiel gegen ein menschliches Dota-2-Team an. Das Team soll aus Blitz, Cap, Fogged und Merlini bestehen, teils ehemaligen Profis. Geplant ist eine Liveübertragung auf Twitch mit den Kommentatoren Purge und ODPixel. Vor dem Hauptspiel sind Aufwärmrunden mit Zuschauern vorgesehen. Der Zeitplan nennt geöffnete Türen ab 12 Uhr pazifischer Zeit, den Beginn des Streams um 12:30 Uhr und den Start des Hauptprogramms um 13:15 Uhr. Dieses soll aus einer Einführung und einer Best-of-three-Serie gegen Spieler im 99,95. Perzentil bestehen.
OpenAI stellt das Ereignis als nächsten Schritt nach früheren Erfolgen dar: Ein vorläufiges System habe im Vorjahr die besten Profis in der Eins-gegen-eins-Version von Dota besiegt; im Monat vor dem angekündigten Benchmark habe OpenAI Five begonnen, Amateurteams im vollständigen Spiel zu schlagen. Der Bericht sagt, die neuen Spiele sollten zeigen, ob das System eine Chance habe, bis zum Ende August das Niveau der Spitzenprofis zu erreichen. Er berichtet jedoch nicht, wie das Benchmarkspiel tatsächlich ausging.
Als Fortschritte nennt der Text die Integration von Wards und Roshan sowie eine Erweiterung des Heldenpools auf 18 Charaktere. Der einleitende Abschnitt erklärt außerdem, dass Einschränkungen bei Wards, Roshan und Spiegelpartien mit festgelegten Helden aufgehoben worden seien. Die anschließend überlieferte Regelliste führt Warding und Roshan jedoch weiterhin unter den Einschränkungen auf und nennt auch eine Spiegelpartie mit fünf bestimmten Helden. Zwar erklärt der Bericht, durchgestrichene Punkte seien aufgehoben worden, aber in der bereitgestellten Fassung sind solche Durchstreichungen nicht erkennbar. Daher lässt sich aus dem Auszug nicht eindeutig bestimmen, welche dieser Listeneinträge noch gelten.
Weitere in der Regelliste aufgeführte Grenzen betreffen bestimmte Gegenstände, Beschwörungen und Illusionen, fünf unverwundbare Kuriere ohne Ausnutzung zum Aufklären oder Abfangen von Angriffen, den Verzicht auf Scan sowie Unsichtbarkeit durch Verbrauchsgegenstände und passende Gegenstände. OpenAI gibt an, die Reaktionszeit des Systems von 80 auf 200 Millisekunden erhöht zu haben. Das sei näher am menschlichen Niveau; Änderungen im Spielverhalten habe man dadurch nicht beobachtet. Nach Einschätzung des Unternehmens beruhe die Stärke eher auf Teamarbeit und Koordination als auf Reflexen.
Der Bericht beschreibt außerdem Rapid als ein allgemeines Trainingssystem, mit dem seit Juni durch neue Funktionen und Zufallsvariationen komplexe Fähigkeiten vermittelt worden seien. Interessierte konnten ein persönliches Teilnahmegesuch einreichen; der Veranstaltungsort war laut Text auf 300 Personen begrenzt, und Einladungen sollten nach den Antworten auf das Formular ausgewählt werden. Insgesamt ist der Text eine Ankündigung mit Angaben zu Spielregeln, Ablauf und damaligem Entwicklungsstand, kein Ergebnisbericht zum angekündigten Wettbewerb.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die mittlere Zusammenfassung gibt den Bericht im Kern treu wieder, auch die Widersprüche bei Wards, Roshan und Spiegelpartien. Die kurze Fassung ist ebenfalls sinngemäß korrekt, lässt aber dieselben Details aus. Die Einordnung von Luna überschätzt die Belegdichte deutlich, weil der Bericht keine Aussagen zu den Sicherheitsfragen enthält.
Im Bericht, aber nicht in der Zusammenfassung
- Zeitplan des Ereignisses (Livestream 12:30 PT, Hauptereignis 13:15 PT)
- Zusammensetzung des menschlichen Teams (Blitz, Cap, Fogged, Merlini, teils ehemalige Profis)
- Einladungsverfahren und Begrenzung auf 300 Plätze für Zuschauer vor Ort
- Casting durch Purge und ODPixel
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %beantwortet teilweise oder widerspricht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 49 %umfangreiche Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 60 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 26 %Hintergrund, keine Belege
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 54 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 46 %einzelne zitierbare Belege
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv