Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai6. August 2018 · Q008239

OpenAI Five Benchmark: Results

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI zufolge gewann OpenAI Five zwei von drei Spielen gegen ein Spitzenteam und stellte erstmals selbst seine Heldenauswahl zusammen; das dritte Spiel mit einer Publikumsaufstellung verlor es. Der Bericht beschreibt fortgesetztes Training über sechs Systemversionen und schätzt den Rechenaufwand des jüngsten Modells auf 35 Petaflop/s-Tage; Siegchancen sind Vorhersagen des Systems, keine unabhängigen Messwerte.

Mittel

OpenAI berichtet über einen öffentlichen Dota-2-Auftritt von OpenAI Five im August 2018. Das System gewann laut Beitrag zwei Spiele eines Best-of-three gegen ein Team von sehr hoch eingestuften Spielenden, darunter vier Profis. Ein drittes Spiel mit einer von Zuschauenden gewählten Aufstellung verlor es. Vorher hatte es auch ein Publikumsteam in weniger als 14 Minuten besiegt.

Neu war, dass OpenAI Five seine Heldenauswahl selbst treffen konnte. Dafür nutzte das Team eine Siegchancenvorhersage und bewertete damit Aufstellungen. Laut Bericht wurden künstliche Anfangssituationen für alle 11 Millionen möglichen Zusammenstellungen erzeugt und mit Baumsuche ausgewertet. Für die ersten beiden Spiele sagte das System 95 beziehungsweise 76,2 Prozent Siegchance voraus und gewann. Für das dritte prognostizierte es zunächst 2,9 Prozent, lag zwischenzeitlich bei 17 Prozent und verlor nach knapp 36 Minuten.

OpenAI beschreibt außerdem ein über sechs größere Versionen fortgeführtes Training seit dem 9. Juni sowie Werkzeuge zur Übertragung von Parametern zwischen Netzwerkarchitekturen. Der geschätzte Trainingsaufwand stieg von 8 Petaflop/s-Tagen beim 1-gegen-1-Modell auf 35 beim Modell vom 5. August. Die Siegchancen sind Modellvorhersagen, die Rechenwerte Schätzungen des Entwicklerteams; unabhängige Prüfungen nennt der Bericht nicht.

Ausführlich lesen

Der Bericht beschreibt OpenAI Five bei einer öffentlichen Dota-2-Veranstaltung im August 2018. Laut OpenAI besiegte das System in einem Best-of-three zwei Spiele gegen ein Team, dessen Mitglieder zu den besten 0,05 Prozent der Spielenden gehört hätten; vier von ihnen hätten professionell Dota gespielt. Das dritte Spiel wurde mit einer von Zuschauenden zusammengestellten Heldenauswahl gespielt und ging verloren. Die Veranstaltung fand vor Publikum statt und wurde laut Bericht von 100.000 Menschen gleichzeitig im Livestream verfolgt.

Zuvor spielte ein Team aus dem Publikum gegen OpenAI Five. OpenAI zufolge gewann das System in weniger als 14 Minuten, während ein ausgeglichenes Spiel üblicherweise etwa 45 Minuten dauere. Für die anschließenden Spiele stellte OpenAI eine neue Fähigkeit vor: Das System konnte selbst eine Heldenauswahl („Draft“) treffen. Das Team nutzte dafür eine bereits ergänzte Vorhersage der Siegchance. Der Bericht schildert, dass damit die Bewertung möglicher Aufstellungen anhand des ersten Spielmoments möglich wurde. Innerhalb einer Woche habe das Team künstliche Anfangssituationen für alle 11 Millionen möglichen Teamzusammenstellungen erstellt und eine Baumsuche zur Auswahl der aus Systemsicht besten Aufstellung programmiert.

Für das erste Spiel sagte OpenAI Five nach der Aufstellung eine Siegchance von 95 Prozent voraus und gewann nach 21 Minuten und 37 Sekunden. Im zweiten Spiel prognostizierte es 76,2 Prozent und gewann nach 24 Minuten und 53 Sekunden. Die dritte Aufstellung kam aus dem Publikum. Dafür schätzte das System seine Siegchance zunächst auf 2,9 Prozent. Im Verlauf des Spiels stieg die Vorhersage zeitweise auf 17 Prozent, dennoch verlor OpenAI Five nach 35 Minuten und 47 Sekunden.

Auch das Training wird erläutert. Anders als bei früheren größeren Überarbeitungen wurde diese Version nicht vollständig von Grund auf neu trainiert: Ihre Parameter seien seit dem 9. Juni über sechs größere Systemversionen hinweg weiterverwendet und angepasst worden. OpenAI berichtet von Werkzeugen, mit denen Parameter auf neue Netzwerkarchitekturen übertragen werden konnten. Als Beispiel nennt der Beitrag eine Änderung bei der Platzierung von Wards: Ein zuvor gemeinsam genutzter Aktionskopf für Bewegung und Platzierung wurde in zwei Kopien aufgeteilt, nachdem das System Wards offenbar häufig in Bewegungsrichtung ablegte. Das Team vermutete, dass die Kapazität zuvor vor allem für Bewegung genutzt wurde.

OpenAI beziffert den Rechenaufwand für das Training auf geschätzte 8 Petaflop/s-Tage für das 1-gegen-1-Modell, 11 für das Modell vom 6. Juni und 35 für das Modell vom 5. August. Der Bericht stellt außerdem eine Netzwerkarchitektur bereit und beschreibt Ausgaben, mit denen sich etwa die für sechs Sekunden später vorhergesagte Position eines Helden sowie weitere Größen wie Last Hits oder Turmzahlen untersuchen ließen.

Die Ergebnisse und Erklärungen stammen aus dem Bericht des Entwicklerteams. Die Siegchancen sind dort als Modellvorhersagen beschrieben, nicht als tatsächliche Wahrscheinlichkeiten oder unabhängige Messungen. Auch die Rechenaufwände werden ausdrücklich als Schätzungen angegeben. Der Text nennt zwar Fehler und unerwartetes Verhalten als Teil der Entwicklung, führt die angekündigten Beispiele dazu im bereitgestellten Inhalt jedoch nicht näher aus.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Stufen wurden unabhängig von Lunas Angaben vergeben; bei SF-H3 liegt die Einordnung um eine Stufe unter Lunas Wert, bei SF-P4 um eine Stufe darunter, bei den Teilfragen liegt Luna mit Stufe 0 bei SF-P4-T02 nahe an meiner Bewertung 1.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Planungsausgabe, die zeigt, wohin sich ein Held sechs Sekunden später bewegt (Sven), und weitere trainierte Ausgaben wie Lasthits oder Turmzahlen als Einblick in das Modell
  • Der Hinweis, dass Training üblicherweise bei jeder großen Revision von vorn beginnt, dieses Modell aber seit dem 9. Juni über sechs Revisionen mit übernommenen Parametern weiterläuft

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 41 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 26 %Hintergrund, keine Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 56 %einzelne zitierbare Belege
    • JEV 48 %einzelne zitierbare Belege
    • amos 32 %einzelne zitierbare Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 24 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 47 %einzelne zitierbare Belege
    • JEV 29 %Hintergrund, keine Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 24 %nur am Rande erwähnt
    • JEV 59 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 57 %umfangreiche Belege
    • JEV 44 %beantwortet teilweise oder widerspricht
    • amos 25 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung umfangreiche Belege
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 46 %einzelne zitierbare Belege
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →