Learning dexterity
Zusammenfassung
Kurz
OpenAIs Dactyl lernte in einer absichtlich variierten Simulation, Objekte mit einer Roboterhand zu drehen, und übertrug die Steuerung ohne Feinanpassung auf den realen Roboter. Bei Blockversuchen schnitt Training mit Randomisierung deutlich besser ab als ohne; die Ergebnisse waren bei einem Prisma gut, bei einer Kugel aber begrenzt. Die Autoren betonen, dass die Befunde auf die getesteten Objekte und Bedingungen beschränkt sind.
Mittel
Der Bericht stellt Dactyl vor, ein System, das Objekte mit einer Roboterhand neu ausrichtet. Es wird vollständig in Simulation trainiert und ohne Feinanpassung auf den realen Roboter übertragen. Da die Simulation Reibung, verformbare Fingerspitzen und Kontaktkräfte nur ungenau abbildet, variiert das Team physikalische und visuelle Bedingungen gezielt per „Domain Randomization“. Ein LSTM hilft der Steuerung, unterschiedliche Dynamiken über die Zeit einzuschätzen; ein zweites Netz schätzt die Objektlage anhand von drei RGB-Kameras.
Bei Blockversuchen erreichte die randomisierte Variante mit Kamerasicht höchstens 46 erfolgreiche Drehungen, im Median 11,5. Mit Bewegungsverfolgung waren es 50 und 13; ohne Randomisierung nur sechs und null. Die Autoren berichten, dass ein ähnlich beschaffenes Prisma ebenfalls gut funktionierte, während eine Kugel nur wenige Erfolge ermöglichte. Berührungssensoren waren nicht nötig. Kürzere Aktionsintervalle und zusätzliche reale Trainingsdaten verbesserten die Ergebnisse nicht erkennbar. Die Befunde gelten für die beschriebenen Versuche und belegen keine zuverlässige Manipulation beliebiger Objekte.
Ausführlich lesen
Der Bericht beschreibt Dactyl, ein von OpenAI entwickeltes System, das Objekte mit einer 24 Freiheitsgrade umfassenden Roboterhand in der Handfläche neu ausrichtet. Als Beispiele dienen ein Block und ein achteckiges Prisma. Die Aufgabe ist anspruchsvoll, weil das System mit unvollständigen und verrauschten Beobachtungen, wechselnden Kontaktkräften und unterschiedlichen Objektformen umgehen muss. Es nutzt die Koordinaten der Fingerspitzen und Bilder von drei gewöhnlichen RGB-Kameras; die vorhandenen Berührungssensoren der Hand werden nicht verwendet.
Dactyl wird vollständig in Simulation trainiert und anschließend ohne Feinanpassung auf dem realen Roboter eingesetzt. Die Simulation bildet die echte Hand und ihre Kontakte nur grob ab: Unter anderem lassen sich Reibung, Verschleiß, verformbare Fingerspitzen und Kontaktkräfte nicht genau nachbilden. Statt die Simulation möglichst realistisch zu machen, setzt das Team auf „Domain Randomization“: Physikalische und visuelle Eigenschaften werden über viele simulierte Umgebungen hinweg zufällig variiert. Der Bericht begründet dies damit, dass eine in diesen Varianten robuste Steuerung eher auch mit den Unsicherheiten der realen Welt zurechtkommt.
Für die Steuerung trainierte das Team eine Reinforcement-Learning-Politik. Ein LSTM mit Gedächtnis soll der Politik helfen, unterschiedliche Umgebungsdynamiken aus Beobachtungen über die Zeit abzuleiten. Laut Bericht erreichte diese Architektur in der Simulation etwa doppelt so viele Drehungen wie eine Politik ohne Gedächtnis. Das Training lief auf 6144 CPU-Kernen und acht GPUs; in 50 Stunden wurden ungefähr 100 Jahre simulierte Erfahrung gesammelt. Ein separates neuronales Netz schätzt aus den Kamerabildern Position und Orientierung des Objekts. Auch dieses Sehsystem wurde ausschließlich in Simulation trainiert, diesmal mit Unity. Die Steuerung und die visuelle Schätzung werden anschließend kombiniert.
In den beschriebenen Versuchen konnten die nur simuliert trainierten Politiken Objekte auf dem echten Roboter drehen. Für einen Block erzielte die Variante mit allen Randomisierungen und Kamerasicht maximal 46 Erfolge, bei einem Median von 11,5. Mit Bewegungsverfolgung waren es höchstens 50 und im Median 13. Eine Variante ohne Randomisierungen erreichte mit Bewegungsverfolgung höchstens sechs Erfolge und einen Median von null. Die Werte geben an, wie viele Drehungen vor Fallenlassen, Zeitüberschreitung oder Erreichen von 50 Erfolgen gelangen. Die Autoren folgern daraus, dass Randomisierung für den Transfer wichtig war und die Kameraschätzung in diesem Versuch fast so gut abschnitt wie direkte Bewegungsverfolgung.
Der Bericht schildert außerdem, dass Dactyl verschiedene Greifarten selbst entwickelte und sie an die Eigenschaften der eigenen Hand anpasste: Bei präzisen Griffen nutzte es etwa Daumen und kleinen Finger, dessen zusätzliche Beweglichkeit eine mögliche Erklärung dafür sei. Randomisierungen, die für einen Block entwickelt wurden, funktionierten laut Bericht auch gut bei einem Prisma mit ähnlichen Eigenschaften; eine Kugel ließ sich dagegen nur wenige Male hintereinander erfolgreich manipulieren. Die Autoren vermuten, dass dafür passende Randomisierungen des Rollverhaltens fehlten.
Nicht alle naheliegenden Änderungen halfen: Eine Verkürzung des Abstands zwischen Aktionen von 80 auf 40 Millisekunden verbesserte die reale Leistung nicht erkennbar und erforderte mehr Training. Ebenso brachte das Mischen realer Trainingsdaten mit simulierten Daten für das Sehsystem letztlich keinen Vorteil gegenüber rein simuliertem Training. Der Bericht hebt auch die Bedeutung technischer Umsetzung hervor: Ein Timing-Fehler, der sich auf einem schnelleren Laptop verbarg, verschlechterte zunächst die Leistung.
Die Ergebnisse beziehen sich auf die beschriebenen Objekte, Aufgaben und Versuchsbedingungen. Sie belegen keine allgemeine Geschicklichkeit für beliebige Objekte; der Bericht nennt gerade die schwächeren Ergebnisse mit der Kugel. Die Autoren stellen das Projekt als Demonstration dar, dass Simulationstraining mit Randomisierung auf reale Robotikaufgaben übertragen werden kann, ohne die Welt physikalisch exakt zu modellieren.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Bewertung der Zusammenfassung bezieht sich auf beide vorgelegten Fassungen; die Einordnung ist unabhängig von Lunas Stufen. Lunas Stufen 4 bei SF-P3 und SF-T3 liegen deutlich über dem, was der Bericht hergibt.
Im Bericht, aber nicht in der Zusammenfassung
- Lernaufwand: ohne Randomisierung etwa 3 Jahre simulierte Erfahrung, mit voller Randomisierung etwa 100 Jahre (Mittel-Fassung nennt das nicht)
- LSTM-Gedächtnis: etwa doppelt so viele Drehungen wie eine Strategie ohne Gedächtnis (fehlt in beiden Fassungen)
- Trainingsaufwand: 6144 CPU-Kerne und 8 GPUs, etwa 100 Jahre Erfahrung in 50 Stunden (fehlt in beiden Fassungen)
- Vision-Netz: Eigenschätzung der Objektlage aus drei RGB-Kameras, trainiert nur in Simulation mit Unity (in der Kurz-Fassung fehlt sie ganz)
- Abschluss des Berichts: Die Fortsetzung dieses Entwicklungszyklus gilt OpenAI als Hauptweg zu sicherer künstlicher allgemeiner Intelligenz (fehlt in beiden Fassungen)
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Kurz-Fassung: Die Behauptung, die Autoren betonten, dass die Befunde auf die getesteten Objekte und Bedingungen beschränkt seien, steht so nicht im Bericht.
- Mittel-Fassung: Die Aussage, die Befunde belegten keine zuverlässige Manipulation beliebiger Objekte, ist eine eigene Schlussfolgerung und keine Aussage der Autoren.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 45 %einzelne zitierbare Belege
- JEV 43 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 29 %einzelne zitierbare Belege
- amos 23 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 41 %einzelne zitierbare Belege
- JEV 28 %Hintergrund, keine Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 46 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 32 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 40 %einzelne zitierbare Belege
- JEV 32 %beantwortet teilweise oder widerspricht
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung beantwortet teilweise oder widerspricht
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- Alle Berichte im Archiv