OpenAI Five defeats Dota 2 world champions
Zusammenfassung
Kurz
OpenAI führt den Sieg von OpenAI Five vor allem auf deutlich mehr Trainingsrechenleistung und lange Simulationen zurück; die genannten Leistungswerte stammen aus dem Bericht. Überraschend habe das System auch ohne spezielles Training mit Menschen kooperieren können, während Tests mit einem größeren Heldenpool nicht rechtzeitig Profiniveau erreichten. Eine öffentliche Arena sollte die Robustheit prüfen, deren Ergebnisse und eine technische Auswertung lagen im Bericht noch nicht vor.
Mittel
Der Bericht erklärt OpenAI Five’s Sieg über die Dota-2-Weltmeister vor allem mit einer starken Ausweitung des Trainings. Das Team berichtet von achtmal mehr Rechenleistung als zur Zeit der Niederlagen bei The International 2018 und insgesamt rund 45.000 simulierten Dota-Jahren. Die Finals-Version habe laut OpenAI gegen die frühere TI-Version eine Siegesrate von 99,9 Prozent erreicht. Der Text führt Rapid als System an, mit dem PPO in diesem Umfang trainiert werden konnte, und betont den hohen Bedarf an Erfahrung und Rechenleistung als Grenze des Ansatzes.
Das Modell sei seit Juni 2018 trotz Änderungen an Spielregeln und Modellgröße weitertrainiert worden. Versuche mit bis zu 25 Helden erreichten etwa 5.000 MMR, aber nicht rechtzeitig Profiniveau; die Gründe waren laut Bericht noch ungeklärt. Für die Finals wurden 17 Helden verwendet.
Als überraschenden Befund beschreibt OpenAI die Fähigkeit des Systems, ohne besonderes Training mit Menschen zusammenzuspielen. Tester hätten sich unterstützt und das gemeinsame Spiel als unterhaltsam erlebt. Eine öffentliche Arena sollte die Ausnutzbarkeit des Systems erproben. Eine ausführliche technische Auswertung stand im Bericht noch aus; die Arbeit an Dota 2 und RL sollte weitergehen.
Ausführlich lesen
Der Bericht beschreibt OpenAI Five nach dem Sieg über die Dota-2-Weltmeister und ordnet den Erfolg als Ergebnis umfangreichen Reinforcement Learnings (RL) ein. OpenAI erklärt, man habe ein Problem gesucht, das mit damaligen RL-Verfahren kaum lösbar schien. Entgegen der Erwartung, dafür vor allem neue algorithmische Ideen zu benötigen, sei die entscheidende Verbesserung die Skalierung gewesen: Ein eigens entwickeltes System namens Rapid ermöglichte PPO-Training in großem Umfang. Die Autoren betonen zugleich, dass dieses Vorgehen sehr viel Erfahrung und Rechenleistung erfordert und außerhalb von Spielen oder Simulationen oft unpraktisch sein kann.
Als wesentliche Veränderung gegenüber den Niederlagen beim Turnier The International 2018 nennt OpenAI achtmal mehr Trainingsrechenleistung. Da ein Großteil der verfügbaren Rechenleistung bereits für ein Modell eingesetzt worden sei, habe man vor allem länger trainiert. Laut Bericht verbrauchte die damalige Version insgesamt 800 Petaflop/s-Tage und absolvierte rund 45.000 simulierte Dota-Jahre in zehn Monaten Echtzeit. Die Autoren geben an, dass die Finals-Version gegen die frühere TI-Version eine Siegesrate von 99,9 Prozent erreicht habe. Diese Zahlen sind Angaben des Berichts; eine unabhängige Prüfung ist im Text nicht enthalten.
Der Text hebt außerdem den langen Trainingslauf und den Umgang mit Änderungen hervor. Das Modell sei seit Juni 2018 fortlaufend trainiert und trotz Anpassungen an Modellgröße und Spielregeln weiterverwendet worden. OpenAI bezeichnet dies nach eigenem Kenntnisstand als ungewöhnlich langen RL-Trainingslauf. Bei Tests mit größeren Heldenpools habe das Team bis zu 25 Helden einbezogen; sie hätten etwa 5.000 MMR erreicht, aber nicht rechtzeitig Profiniveau. Warum der Fortschritt zu langsam war, sei noch nicht untersucht worden. Als mögliche Erklärungen nennt der Bericht begrenzte Modellkapazität, ungeeignetes Matchmaking oder fehlende Trainingszeit. Die Finals-Version spielte mit 17 Helden, nachdem Lich wegen einer größeren Änderung seiner Fähigkeiten entfernt worden war.
Ein überraschendes Ergebnis sei gewesen, dass OpenAI Five ohne gezieltes Training für Zusammenarbeit mit Menschen spielen konnte. Das System war darauf trainiert, dass Kopien seiner selbst alle Helden steuern; laut OpenAI ließ sich dieses Verhalten auf Spiele mit oder gegen Menschen übertragen. Tester hätten sich von den Bot-Mitspielern unterstützt gefühlt, neben ihnen etwas gelernt und die Partien überwiegend als unterhaltsam erlebt. Der Bericht beschreibt dies als mögliche Perspektive für die Zusammenarbeit von Menschen und KI, nicht als Nachweis für deren Wirkung in anderen Bereichen.
OpenAI kündigte für den 18. bis 21. April eine öffentliche Arena an, in der Menschen das System im Wettbewerbs- und Kooperationsmodus testen sollten. Damit wollte das Team unter anderem herausfinden, wie ausnutzbar beziehungsweise zuverlässig schlagbar OpenAI Five ist. Die Ergebnisse sollten auf einer öffentlichen Rangliste erscheinen. Zum Veröffentlichungszeitpunkt des Berichts stand eine detailliertere technische Auswertung noch aus und sollte nach der Prüfung der Arena-Ergebnisse folgen. OpenAI erklärte, die Wettkampfversion werde eingestellt, die Arbeit an Dota 2 und RL aber fortgesetzt. Als künftige Herausforderungen nennt der Text effizienteres Lernen mit weniger Erfahrung und echte Zusammenarbeit zwischen Mensch und KI.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Prüfung bezieht sich auf beide Zusammenfassungen. Die mittlere Fassung ist inhaltlich treu, die kurze lässt wichtige Teile aus. Alle Zahlen stimmen mit dem Bericht überein. Bei den Einordnungen ist zu beachten, dass die Sammelfragen zu Selbstverbesserung, Werten und Prüfregimen über den Gegenstand des Berichts hinausgehen, daher fallen die Stufen durchweg niedrig aus.
Im Bericht, aber nicht in der Zusammenfassung
- Die zentrale Erkenntnis, dass für das Problem vor allem Skalierung nötig war und nicht neue Algorithmen, fehlt in beiden Fassungen.
- Das Transfer-Lernen über Modelländerungen und Spielpatches hinweg wird nicht erwähnt. OpenAI nennt es nach eigenem Wissen den ersten Lauf dieser Art.
- Die Forschungsfrage der Arena, inwieweit OpenAI Five ausnutzbar ist oder sicher geschlagen werden kann, wird nur allgemein als Robustheitsprüfung wiedergegeben.
- Die Rückzugsentscheidung als Wettkampfteilnehmer und die Aussage, Dota 2 bleibe eine wichtige Forschungsumgebung, fehlen.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Einstufung des Erfahrungsbedarfs als „Grenze des Ansatzes“ ist eine Deutung von Luna. Der Bericht relativiert den Bedarf eher und nennt ihn eine nächste Herausforderung.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 23 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 48 %einzelne zitierbare Belege
- JEV 52 %einzelne zitierbare Belege
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 49 %einzelne zitierbare Belege
- JEV 42 %einzelne zitierbare Belege
- amos 26 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 28 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
- SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 70 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 62 %einzelne zitierbare Belege
- JEV 33 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T3-T03 Welche Teile von Training, Prüfung und Einsatz laufen schon heute weitgehend durch KI, und welche Rollen sagt jedes Labor zu, bei Menschen zu lassen, in einer veröffentlichten Liste statt als bloßer Grundsatz? Wenn KI nachfolgende Modelle selbst entwirft, trainiert und prüft: Welcher Mindestanteil der Forschung muss unter direkter menschlicher Prüfung bleiben, und wie belegt man, dass ein Durchbruch mit menschlicher Beteiligung und nicht vollautomatisch entstanden ist?
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 54 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 60 %einzelne zitierbare Belege
- JEV 41 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt?
- SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat?
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 30 %Hintergrund, keine Belege
- JEV 55 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4-T01 Falls ein Modell kein durchgehendes Selbst hat: Kann es überhaupt an den vorgesehenen Zielen und Werten ausgerichtet sein, oder nur seine Ausgaben?
- SF-V4-T02 Was könnte die „Liebe zur Menschheit“, die manche von einer ausgerichteten KI erwarten, für etwas bedeuten, das mit jeder Antwort neu entsteht und wieder vergeht?
- SF-V4-T03 Ist Intelligenz, die „eher gewachsen als entworfen“ ist, ein Grund für mehr Vorsicht oder dafür, Modelle wie ein Ökosystem zu pflegen?
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 49 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 22 %Hintergrund, keine Belege
- JEV 24 %gleiches Oberthema, hilft nicht
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 59 %Hintergrund, keine Belege
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-A3-T01 Welche Beobachtungen oder gemeinsamen Tests erkennen entstehende Abstimmung, Absprachen oder Kettenfehler zwischen Modellen in Arbeitsabläufen, Lieferketten und Gruppen vieler Agenten (Schwärmen), die kein einzelnes Labor steuert oder vorhersieht?
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 45 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 43 %einzelne zitierbare Belege
- JEV 49 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- clef 100 %kein Bezug
- Luna 44 %einzelne zitierbare Belege
- JEV 38 %einzelne zitierbare Belege
- amos 28 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 35 %nur am Rande erwähnt
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 65 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 53 %einzelne zitierbare Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 61 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 59 %Hintergrund, keine Belege
- JEV 35 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E4-T01 Was hieße die Formel von KI als „gemeinsamem Gut der ganzen Menschheit“ praktisch (Zugang, Teilen des Nutzens, gestaffelte Preise, Technologietransfer), so dass jeder Staat sie tatsächlich unterschreiben und prüfen könnte?
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 28 %Hintergrund, keine Belege
- JEV 34 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen?
- SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat?
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv