OpenAI Five Benchmark: Results
Zusammenfassung
Kurz
OpenAI zufolge gewann OpenAI Five zwei von drei Spielen gegen ein Spitzenteam und stellte erstmals selbst seine Heldenauswahl zusammen; das dritte Spiel mit einer Publikumsaufstellung verlor es. Der Bericht beschreibt fortgesetztes Training über sechs Systemversionen und schätzt den Rechenaufwand des jüngsten Modells auf 35 Petaflop/s-Tage; Siegchancen sind Vorhersagen des Systems, keine unabhängigen Messwerte.
Mittel
OpenAI berichtet über einen öffentlichen Dota-2-Auftritt von OpenAI Five im August 2018. Das System gewann laut Beitrag zwei Spiele eines Best-of-three gegen ein Team von sehr hoch eingestuften Spielenden, darunter vier Profis. Ein drittes Spiel mit einer von Zuschauenden gewählten Aufstellung verlor es. Vorher hatte es auch ein Publikumsteam in weniger als 14 Minuten besiegt.
Neu war, dass OpenAI Five seine Heldenauswahl selbst treffen konnte. Dafür nutzte das Team eine Siegchancenvorhersage und bewertete damit Aufstellungen. Laut Bericht wurden künstliche Anfangssituationen für alle 11 Millionen möglichen Zusammenstellungen erzeugt und mit Baumsuche ausgewertet. Für die ersten beiden Spiele sagte das System 95 beziehungsweise 76,2 Prozent Siegchance voraus und gewann. Für das dritte prognostizierte es zunächst 2,9 Prozent, lag zwischenzeitlich bei 17 Prozent und verlor nach knapp 36 Minuten.
OpenAI beschreibt außerdem ein über sechs größere Versionen fortgeführtes Training seit dem 9. Juni sowie Werkzeuge zur Übertragung von Parametern zwischen Netzwerkarchitekturen. Der geschätzte Trainingsaufwand stieg von 8 Petaflop/s-Tagen beim 1-gegen-1-Modell auf 35 beim Modell vom 5. August. Die Siegchancen sind Modellvorhersagen, die Rechenwerte Schätzungen des Entwicklerteams; unabhängige Prüfungen nennt der Bericht nicht.
Ausführlich lesen
Der Bericht beschreibt OpenAI Five bei einer öffentlichen Dota-2-Veranstaltung im August 2018. Laut OpenAI besiegte das System in einem Best-of-three zwei Spiele gegen ein Team, dessen Mitglieder zu den besten 0,05 Prozent der Spielenden gehört hätten; vier von ihnen hätten professionell Dota gespielt. Das dritte Spiel wurde mit einer von Zuschauenden zusammengestellten Heldenauswahl gespielt und ging verloren. Die Veranstaltung fand vor Publikum statt und wurde laut Bericht von 100.000 Menschen gleichzeitig im Livestream verfolgt.
Zuvor spielte ein Team aus dem Publikum gegen OpenAI Five. OpenAI zufolge gewann das System in weniger als 14 Minuten, während ein ausgeglichenes Spiel üblicherweise etwa 45 Minuten dauere. Für die anschließenden Spiele stellte OpenAI eine neue Fähigkeit vor: Das System konnte selbst eine Heldenauswahl („Draft“) treffen. Das Team nutzte dafür eine bereits ergänzte Vorhersage der Siegchance. Der Bericht schildert, dass damit die Bewertung möglicher Aufstellungen anhand des ersten Spielmoments möglich wurde. Innerhalb einer Woche habe das Team künstliche Anfangssituationen für alle 11 Millionen möglichen Teamzusammenstellungen erstellt und eine Baumsuche zur Auswahl der aus Systemsicht besten Aufstellung programmiert.
Für das erste Spiel sagte OpenAI Five nach der Aufstellung eine Siegchance von 95 Prozent voraus und gewann nach 21 Minuten und 37 Sekunden. Im zweiten Spiel prognostizierte es 76,2 Prozent und gewann nach 24 Minuten und 53 Sekunden. Die dritte Aufstellung kam aus dem Publikum. Dafür schätzte das System seine Siegchance zunächst auf 2,9 Prozent. Im Verlauf des Spiels stieg die Vorhersage zeitweise auf 17 Prozent, dennoch verlor OpenAI Five nach 35 Minuten und 47 Sekunden.
Auch das Training wird erläutert. Anders als bei früheren größeren Überarbeitungen wurde diese Version nicht vollständig von Grund auf neu trainiert: Ihre Parameter seien seit dem 9. Juni über sechs größere Systemversionen hinweg weiterverwendet und angepasst worden. OpenAI berichtet von Werkzeugen, mit denen Parameter auf neue Netzwerkarchitekturen übertragen werden konnten. Als Beispiel nennt der Beitrag eine Änderung bei der Platzierung von Wards: Ein zuvor gemeinsam genutzter Aktionskopf für Bewegung und Platzierung wurde in zwei Kopien aufgeteilt, nachdem das System Wards offenbar häufig in Bewegungsrichtung ablegte. Das Team vermutete, dass die Kapazität zuvor vor allem für Bewegung genutzt wurde.
OpenAI beziffert den Rechenaufwand für das Training auf geschätzte 8 Petaflop/s-Tage für das 1-gegen-1-Modell, 11 für das Modell vom 6. Juni und 35 für das Modell vom 5. August. Der Bericht stellt außerdem eine Netzwerkarchitektur bereit und beschreibt Ausgaben, mit denen sich etwa die für sechs Sekunden später vorhergesagte Position eines Helden sowie weitere Größen wie Last Hits oder Turmzahlen untersuchen ließen.
Die Ergebnisse und Erklärungen stammen aus dem Bericht des Entwicklerteams. Die Siegchancen sind dort als Modellvorhersagen beschrieben, nicht als tatsächliche Wahrscheinlichkeiten oder unabhängige Messungen. Auch die Rechenaufwände werden ausdrücklich als Schätzungen angegeben. Der Text nennt zwar Fehler und unerwartetes Verhalten als Teil der Entwicklung, führt die angekündigten Beispiele dazu im bereitgestellten Inhalt jedoch nicht näher aus.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Stufen wurden unabhängig von Lunas Angaben vergeben; bei SF-H3 liegt die Einordnung um eine Stufe unter Lunas Wert, bei SF-P4 um eine Stufe darunter, bei den Teilfragen liegt Luna mit Stufe 0 bei SF-P4-T02 nahe an meiner Bewertung 1.
Im Bericht, aber nicht in der Zusammenfassung
- Die Planungsausgabe, die zeigt, wohin sich ein Held sechs Sekunden später bewegt (Sven), und weitere trainierte Ausgaben wie Lasthits oder Turmzahlen als Einblick in das Modell
- Der Hinweis, dass Training üblicherweise bei jeder großen Revision von vorn beginnt, dieses Modell aber seit dem 9. Juni über sechs Revisionen mit übernommenen Parametern weiterläuft
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 41 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 26 %Hintergrund, keine Belege
- JEV 50 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 56 %einzelne zitierbare Belege
- JEV 48 %einzelne zitierbare Belege
- amos 32 %einzelne zitierbare Belege
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 24 %einzelne zitierbare Belege
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 64 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 47 %einzelne zitierbare Belege
- JEV 29 %Hintergrund, keine Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 24 %nur am Rande erwähnt
- JEV 59 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 29 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %gleiches Oberthema, hilft nicht
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 57 %umfangreiche Belege
- JEV 44 %beantwortet teilweise oder widerspricht
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung umfangreiche Belege
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 46 %einzelne zitierbare Belege
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 60 %gleiches Oberthema, hilft nicht
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv