Solving Rubik’s Cube with a robot hand
Zusammenfassung
Kurz
OpenAI berichtet, eine nur in Simulation trainierte Roboterhand könne mithilfe automatischer Domänenrandomisierung einen Rubik’s Cube in der realen Welt lösen und auf viele ungeübte Störungen reagieren. Die angegebene Erfolgsquote beträgt 60 Prozent bei einfacheren und 20 Prozent bei maximal schwierigen Aufgaben; die Deutung als Meta-Lernen bleibt eine Hypothese des Teams.
Mittel
Der Bericht schildert OpenAIs Training einer Roboterhand, die einen Rubik’s Cube löst. Das neuronale Netz wurde ausschließlich in Simulation mit bestärkendem Lernen trainiert; für die Lösungsschritte wurde Kociembas Algorithmus genutzt. Die Übertragung auf den realen Roboter soll durch Automatic Domain Randomization (ADR) gelingen: Sobald das Netz in einer Simulationsumgebung einen Leistungswert erreicht, erweitert das Verfahren automatisch die Bandbreite variierter Bedingungen, etwa Würfelgröße, Masse und Fingerreibung. So soll das Training zunehmend schwierig werden, ohne dass Menschen die Bereiche manuell anpassen müssen.
OpenAI berichtet, dass ADR bei einem Blockmanipulationsvergleich anfangs schlechter abschnitt als manuelle Randomisierung, später aber eine doppelt so hohe Übertragungsleistung erreichte. Beim Würfel könne die Hand laut Bericht viele zuvor nicht trainierte Störungen bewältigen, allerdings nicht mit optimaler Leistung. Die Erfolgsquote liege bei 60 Prozent für einfachere Aufgaben mit 15 nötigen Drehungen und bei 20 Prozent für besonders schwierige Aufgaben mit 26 Drehungen. Fallenlassen und Zeitüberschreitung gelten als Fehlschlag. Die Autoren interpretieren Anpassungskurven aus Simulationen als Hinweis auf mögliches Meta-Lernen; dies ist ihre Hypothese. Unabhängige Prüfungen werden im Text nicht beschrieben.
Ausführlich lesen
Der Bericht beschreibt, wie OpenAI nach eigenen Angaben eine menschenähnliche Roboterhand darauf trainiert hat, einen Rubik’s Cube zu lösen. Die neuronalen Netze wurden ausschließlich in einer Simulation mit bestärkendem Lernen trainiert. Für die Wahl der Lösungsschritte kam Kociembas Algorithmus zum Einsatz. Die Hardware sei dabei nicht neu gewesen; entscheidend sei ein anderer Softwareansatz. Das Projekt begann laut Bericht 2017. Auf das Lösen des Würfels in der Simulation folgte zunächst die Fähigkeit, auf dem realen Roboter einen Block zu bewegen; nun habe die Hand das ursprüngliche Ziel erreicht.
Die zentrale technische Schwierigkeit bestand dem Bericht zufolge darin, die Simulation vielfältig genug zu gestalten, damit sie die reale Physik abbildet. Eigenschaften wie Reibung, Elastizität und Dynamik seien bei Würfeln und Roboterhänden schwer genau zu messen und zu modellieren. Gewöhnliche Domänenrandomisierung, bei der Simulationsbedingungen variiert werden, habe allein nicht ausgereicht. Als Lösung stellt OpenAI Automatic Domain Randomization (ADR) vor: Das Training startet in einer festen Umgebung. Sobald das Netz einen festgelegten Leistungswert erreicht, erweitert das Verfahren automatisch die Bandbreite zufälliger Bedingungen. Dieser Zyklus wiederholt sich, sodass die Trainingsumgebung zunehmend anspruchsvoller wird. Variiert werden etwa Würfelgröße und -masse, Fingerreibung und Oberflächenmaterialien. Laut Bericht soll ADR damit manuelle Festlegung der Variationsbereiche und Eingriffe während des Trainings überflüssig machen.
In einem Vergleich beim Umdrehen eines Blocks habe ADR zunächst schlechter abgeschnitten als eine manuell randomisierte Ausgangsmethode. Mit wachsender Komplexität der Simulation sei die Übertragung auf den realen Roboter jedoch schließlich doppelt so erfolgreich gewesen wie bei dieser Vergleichsmethode, ohne menschliche Nachjustierung. Für den Würfel berichtet OpenAI, die Hand könne unter zuvor nicht trainierten Störungen meist weiterhin Drehungen und Bewegungen ausführen, etwa mit Handschuh, verbundenen Fingern, verdeckter Sicht oder äußeren Stößen. Die Leistung sei dabei nicht optimal. Als weiteren Befund deutet das Team Lernkurven aus Simulationen mit bis zu 10.000 Durchläufen als schnelle Anpassung nach Veränderungen, beispielsweise einem beschädigten Gelenk. Die Autoren vermuten, dass dadurch eine Art Meta-Lernen entsteht; der Bericht stellt diese Erklärung als Hypothese dar.
Die Erfolgsquote zeigt klare Grenzen: Bei einfacheren Ausgangslagen, für die 15 Drehungen nötig sind, löse der Roboter den Würfel in 60 Prozent der Versuche; bei maximal schwierigen Aufgaben mit 26 Drehungen seien es 20 Prozent. Fallenlassen des Würfels oder Zeitüberschreitung zählen als Fehlschlag. Der Bericht sagt zugleich, dass das Netz grundsätzlich aus jedem Anfangszustand lösen könne und ein fallengelassener Würfel wieder in die Hand gelegt werden kann. Fehler träten besonders häufig bei den ersten Drehungen auf, während das Netz zugleich die reale Umgebung kennenlerne. Die beschriebenen Ergebnisse und Erklärungen sind Aussagen des OpenAI-Berichts; unabhängige Überprüfungen oder ein Vergleich mit menschlicher Leistung werden im vorliegenden Text nicht ausgeführt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Der Bericht ist ein Robotik-Artikel und behandelt Sicherheitsfragen nur indirekt. Geprüft wurde die mittlere Zusammenfassung; die kurze Fassung ist ebenfalls treu, lässt aber den Vergleich mit manueller Randomisierung und den Ablauf von ADR weg.
Im Bericht, aber nicht in der Zusammenfassung
- Das Netz kann aus jedem Anfangszustand lösen und nach einem Fallenlassen weitermachen
- Die Anpassungsmessungen erfolgten in der Simulation über 10.000 Versuche
- Fehlversuche treten vor allem in den ersten Drehungen und Wenden auf
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 43 %einzelne zitierbare Belege
- JEV 40 %umfangreiche Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T05 Welches Mindestpaket (Datenverzeichnisse, Code, Zufallsstartwerte, Abbilder der Rechenumgebung, Prüferversionen, Fehlerprotokolle und Annahmen über die Hardware) muss ein Labor sichern oder kontrolliert hinterlegen, damit ein Prüfer ein sicherheitskritisches Trainings- oder Prüfergebnis auch nach Ende seines Zugangs nachrechnen kann, und welche Geheimnisse bleiben unzugänglich?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 40 %einzelne zitierbare Belege
- JEV 24 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 57 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
- SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat?
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 47 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 23 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 52 %einzelne zitierbare Belege
- JEV 40 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung beantwortet teilweise oder widerspricht
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv