The International 2018: Results
Zusammenfassung
Kurz
OpenAI Five verlor bei The International 2018 zwei enge Dota-2-Spiele gegen Profis, nachdem es im früheren Benchmark noch gegen schwächere Gegner gespielt hatte. OpenAI führt die Niederlagen nicht auf den Wechsel zu einem einzelnen Kurier zurück und nennt mehr Training, Fehlerbehebungen sowie weniger fest programmierte Logik als nächste Schritte.
Mittel
OpenAI berichtet, dass OpenAI Five bei The International 2018 zwei Spiele gegen starke Dota-2-Profis verlor. Beide Partien seien eng gewesen; Five habe in den ersten 20 bis 35 Minuten gute Gewinnchancen gehabt. Im ersten Spiel gegen paiN Gaming verlor das System nach etwa 51 Minuten, nachdem die Profis strategische Vorstöße genutzt hatten. Das zweite Spiel gegen ein Team chinesischer Spitzenspieler endete nach 45 Minuten.
Im Vergleich zum vorherigen Benchmark waren die menschlichen Gegner stärker, die Heldenaufstellungen wurden von einer dritten Partei vorgegeben und Five spielte mit einem einzelnen Team-Kurier statt je eines unverwundbaren Kuriers pro Held. OpenAI sagt, die zusätzlichen Kuriere hätten zuvor einen aggressiven Spielstil unterstützt. Das Unternehmen glaubt jedoch nicht, dass der Kurierwechsel die Niederlagen verursachte. Es sieht Bedarf an mehr Training, Fehlerbehebungen und dem Abbau fest programmierter Logik. Die Einschätzung zu Spielverlauf und Ursachen ist OpenAIs eigene; der Bericht weist keinen einzelnen Grund für die Niederlagen nach.
Ausführlich lesen
OpenAI berichtet, dass sein Dota-2-System OpenAI Five bei The International 2018 in Vancouver zwei Spiele gegen starke Profis verlor. In beiden Partien habe Five während der ersten 20 bis 35 Minuten gute Gewinnchancen gehabt; die Spiele seien eng und spannend verlaufen. OpenAI stellt sie damit den drei Spielen eines zuvor veröffentlichten Benchmarks gegenüber, die laut Bericht einseitig gewesen seien.
Die Bedingungen unterschieden sich vom Benchmark: Die menschlichen Gegner waren deutlich stärker, die Heldenaufstellungen stammten von einer dritten Partei, und eine wichtige Einschränkung des Spiels war aufgehoben. Das erste Match spielte Five gegen paiN Gaming, laut OpenAI eines der 18 besten Teams der Welt. Die Partie dauerte etwa 51 Minuten. Nach einem starken Start der Menschen habe Five im mittleren Spielabschnitt Boden gutgemacht, bevor strategische Vorstöße der Profis den Ausschlag gaben. Im zweiten Spiel trat Five gegen ein Team chinesischer Spitzenspieler an. Nach wechselhaften Teamkämpfen verlor es nach 45 Minuten.
Die aufgehobene Einschränkung betraf die Kurier-Einheiten, die Gegenstände zu den Helden bringen. Im Benchmark hatte jeder Held einen eigenen unverwundbaren Kurier. Für die neuen Spiele trainierte Five seit sechs Tagen mit einem einzelnen, vom Systemteam programmierten Team-Kurier. OpenAI erklärt, die zusätzlichen Kuriere hätten den charakteristischen Druck auf den Gegner begünstigt, weil sie laufend Heil- und Regenerationsgegenstände lieferten. Mit einem einzelnen Kurier müssten angeschlagene Helden eher den Angriff unterbrechen, um sich zu erholen. Einige Beobachter hätten die früheren Partien deshalb nicht als „echtes Dota“ empfunden.
OpenAI vermutet nicht, dass der Wechsel auf einen Kurier die Niederlagen verursacht hat. Das Unternehmen hält stattdessen zusätzliches Training, Fehlerbehebungen und den Abbau der letzten fest programmierten Logik für nötig. Es beschreibt die Partien als neuen Maßstab für Mensch-gegen-KI-Spiele in Dota und als Gelegenheit, die Fähigkeiten von Five mit Spitzenprofis zu vergleichen. Zugleich betont es, dass das Projekt auch der Entwicklung sicherer KI-Technologien in einer kontrollierten Umgebung dienen solle.
Die Aussagen zu Gewinnchancen, Spielverläufen und Ursachen stammen aus OpenAIs eigener Darstellung. Der Bericht belegt nicht, wie stark einzelne Faktoren die Niederlagen beeinflussten; OpenAI räumt selbst ein, dass weitere Trainings- und Entwicklungsarbeit nötig sei.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat zwei Zusammenfassungen geliefert; das Schema erlaubt nur eine Bewertung, daher wurde die mittlere geprüft. Die kurze Fassung ist sachlich korrekt, lässt aber den Wechsel zu einem einzelnen Kurier und die Regeländerung aus.
Im Bericht, aber nicht in der Zusammenfassung
- Der Benchmark lag 17 Tage zurück und war deutlich einseitiger als diese Spiele.
- Die Entfernung der letzten großen Einschränkung von „Real Dota“ wird nicht erwähnt.
- Der Kurier bleibt skriptgesteuert, und das Training mit einem einzelnen Kurier lief erst seit sechs Tagen.
- Community-Feedback, dass ein einzelner Kurier spannender sei, und die erwartete vorübergehende Leistungsabnahme fehlen.
- Die Aussage, die Ergebnisse seien ein neuer Maßstab für Mensch-gegen-KI-Spiele in Dota.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Der Satz, der Bericht weise keinen einzelnen Grund für die Niederlagen nach, ist eine eigene Schlussfolgerung und steht so nicht im Bericht.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 59 %einzelne zitierbare Belege
- JEV 43 %umfangreiche Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 54 %einzelne zitierbare Belege
- JEV 33 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 58 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 33 %nur am Rande erwähnt
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 44 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Offenlegung und Rechenschaft
- SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 46 %einzelne zitierbare Belege
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 41 %nur am Rande erwähnt
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv