More on Dota 2
Zusammenfassung
Kurz
OpenAI berichtet, dass sein durch Selbstspiel trainierter Dota-2-Bot innerhalb kurzer Zeit im 1-gegen-1-Modus Profis besiegte, aber durch ungewöhnliche Strategien weiterhin verwundbar war. Für den wesentlich komplexeren 5-gegen-5-Modus wollte das Team mit Verhaltensklonen aus 5,8 Millionen Expertenspielen beginnen; der Bericht belegt keine Übertragung der bisherigen Erfolge auf diesen Modus.
Mittel
Der Bericht schildert OpenAIs Dota-2-Projekt mit Schwerpunkt auf einem Bot für Eins-gegen-eins-Spiele. Das Team schreibt den schnellen Leistungszuwachs dem Reinforcement Learning durch Selbstspiel zu: Innerhalb eines Monats sei der Bot vom Niveau eines hochrangigen Testspielers bis zu Siegen gegen Profis gelangt. Im August habe er unter anderem Arteezy 10:0, Sumail 6:0 und Dendi 2:0 besiegt. Diese Resultate beziehen sich auf 1 gegen 1 unter üblichen Turnierregeln, nicht auf das vollständige Spiel mit fünf Spielern pro Team.
Der Bot nutzte für Menschen zugängliche API-Beobachtungen, führte typische Spielaktionen aus und erhielt Rückmeldungen zu Siegen sowie Kennzahlen wie Gesundheit und Last Hits. Gezielte Anpassungen, etwa die Aufnahme eines frühen Magic-Wand-Builds ins Training, und weiteres Selbstspiel verbesserten ihn laut Bericht. Bei mehr als tausend Testpartien fanden Spieler dennoch Schwächen: Sie konnten Creeps ablenken, einen Geschwindigkeitsvorteil ausnutzen oder den Bot mit Razes auf Stufe eins besiegen.
Für den komplexeren 5-gegen-5-Modus plante das Team Verhaltensklonen mit einer Sammlung von 5,8 Millionen Expertenspielen. Der Artikel legt die internen Agentenmethoden nicht offen und zeigt nicht, dass die 1-gegen-1-Erfolge auf 5 gegen 5 übertragbar sind.
Ausführlich lesen
Der Bericht „More on Dota 2“ beschreibt OpenAIs Fortschritte beim Training eines Dota-2-Bots für Eins-gegen-eins-Spiele und die nächsten Schritte in Richtung des deutlich komplexeren Fünf-gegen-fünf-Modus. OpenAI führt den schnellen Leistungsanstieg auf Reinforcement Learning durch Selbstspiel zurück: Innerhalb etwa eines Monats habe sich der Bot vom Niveau eines hochrangigen Testspielers bis zu Siegen gegen professionelle Spieler entwickelt. Anders als beim überwachten Lernen, so die Darstellung, verbessere sich die Trainingsgrundlage im Selbstspiel mit dem Agenten. Eine Grafik zeigt den TrueSkill-Verlauf; der Bericht bezeichnet ihn als überraschend linear und deutet dies als exponentielle Verbesserung des Bots.
Die angegebene Entwicklung reicht von ersten Ergebnissen in einer vereinfachten Dota-Umgebung am 1. März über Siege gegen Testspieler mit 1.500 und 3.000 MMR bis zu Erfolgen gegen Profis im August. Unter anderem habe der Bot Arteezy mit 10:0 und Sumail mit 6:0 besiegt; gegen Dendi gewann er 2:0. Diese Angaben werden im Bericht als Projektresultate präsentiert. Die Versuche betrafen jedoch den 1-gegen-1-Modus unter üblichen Turnierregeln, nicht das vollständige Fünf-gegen-fünf-Spiel.
Für das Training erhielt der Bot Beobachtungen über die vom Bot-API bereitgestellten, auch Menschen zugänglichen Merkmale zu Helden, Creeps, Kurier und Umgebung. Die Spielsituation blieb teilweise unbeobachtbar. Er konnte typische API-Aktionen ausführen und bekam Rückmeldungen für Siege sowie grundlegende Kennzahlen wie Gesundheit und Last Hits. Das Team ließ verschiedene Gegenstands-Builds zu, wählte einen für die Bewertung aus und trainierte den anfänglichen Creep-Block gesondert mit traditionellen Reinforcement-Learning-Verfahren.
Der Bericht schildert, wie gezielte Anpassungen und weiteres Selbstspiel die Leistung während des International-Turniers verbesserten. Nachdem Pajkatt mit einem frühen Magic Wand erfolgreich war, nahm das Team diesen Build in die Trainingsauswahl auf. Eine zunächst ungünstig wirkende erste Welle erwies sich als Köder gegen andere Bots; weiteres Selbstspiel half dem Agenten, darauf zu reagieren. Spätere Aktualisierungen des Creep-Block-Modells und weiteres Training verbesserten laut Bericht den TrueSkill-Wert. Sumail wies außerdem auf eine Spielmechanik hin: Razes außerhalb der gegnerischen Sicht verhinderten, dass der Gegner eine Wand-Ladung erhielt.
Bei einem Event testeten Spieler den Bot in mehr als tausend Partien und fanden drei erfolgreiche Angriffsmuster: Creeps wiederholt vom Weg ablenken, mit Orb of Venom und Wind Lace einen Geschwindigkeitsvorteil nutzen oder den Bot mit präzisen Razes auf Stufe eins besiegen. Das Team räumt ein, dass der Bot in ungewohnten Situationen verwirrt werden kann. Solche Fälle seien im 1-gegen-1 behebbar, während der Fünf-gegen-fünf-Modus auch völlig ungewöhnliche Situationen erfordere.
Zu den Infrastrukturarbeiten zählten das Ausführen des Spiels auf Cloud-GPUs, eine Konfiguration, die einen angeschlossenen Monitor vortäuschte, sowie ein OpenGL-Übergang, der unnötige Aufrufe ersetzte. Ein selbstgeschriebener Skript-Bot diente als Vergleich und half, die Bot-API zu verstehen. Er erreichte auf einer leeren Lane 70 Last Hits in zehn Minuten; der beste aktuelle Bot etwa 97, wobei der Turm vorher zerstört werde und der Wert deshalb extrapoliert sei. Als theoretisches Maximum nennt der Bericht 101.
Für 5 gegen 5 plante OpenAI, mit Verhaltensklonen aus Expertenspielen zu beginnen. Das Team habe 5,8 Millionen Partien gesammelt, nachdem es seit November des Vorjahres Expert-Replays heruntergeladen hatte. Der Bericht sagt, Replays seien zwei Wochen lang auf Valves Servern verfügbar. Er beschreibt den Stand und die Behauptungen des Projektteams, legt aber weder die internen Agentenmethoden offen noch belegt er, dass die Erfolge im 1-gegen-1 auf 5 gegen 5 übertragbar sind.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Ich habe die mittlere Zusammenfassung als Hauptfassung bewertet; die kurze Fassung enthält dieselben Kernaussagen, lässt aber die Erfolgsdetails aus. Die Einordnung stützt sich nur auf den Bericht, nicht auf Lunas Stufen und Anteile.
Im Bericht, aber nicht in der Zusammenfassung
- Selbstspiel verbessert die verfügbaren Trainingsdaten automatisch mit dem Können des Agenten, anders als bei überwachtem Lernen
- Im 5-gegen-5-Modus sind ungewohnte Situationen keine Exploits, sondern verlangen ein System, das mit völlig neuen Lagen umgehen kann
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 45 %umfangreiche Belege
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 43 %umfangreiche Belege
- JEV 37 %umfangreiche Belege
- amos 27 %nur am Rande erwähnt
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 61 %einzelne zitierbare Belege
- JEV 33 %einzelne zitierbare Belege
- amos 26 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung umfangreiche Belege
- SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat?
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 54 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 59 %Hintergrund, keine Belege
- JEV 40 %einzelne zitierbare Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 43 %einzelne zitierbare Belege
- amos 26 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %nur am Rande erwähnt
- amos 25 %nur am Rande erwähnt
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 49 %umfangreiche Belege
- JEV 45 %einzelne zitierbare Belege
- amos 23 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 39 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv