Visuell-taktiles Vortraining und Online-Multitask-Lernen für menschenähnliche Manipulationsgeschicklichkeit

Um menschenähnliche Geschicklichkeit mit anthropomorphen multifingrigen Roboterhänden zu erreichen, ist eine präzise Fingerkoordination erforderlich. Dennoch bleibt geschickte Manipulation aufgrund hochdimensionaler Aktions-Beobachtungsräume, komplexer Hand-Objekt-Kontaktdynamik und häufiger Okklusionen eine große Herausforderung. Zur Lösung dieses Problems ließen wir uns vom menschlichen Lernparadigma des Beobachtens und Übens inspirieren und schlagen einen zweistufigen Lernrahmen vor, der visuell-taktile Integrationsrepräsentationen durch selbstüberwachtes Lernen aus Menschendemonstrationen erlernt. Wir trainierten eine einheitliche Multitask-Policy mittels Verstärkungslernen und Online-Nachahmungslernen. Dieses entkoppelte Lernen ermöglichte dem Roboter, generalisierbare Manipulationsfähigkeiten nur mit monokularen Bildern und einfachen binären taktilen Signalen zu erwerben. Mit der einheitlichen Policy entwickelten wir ein multifingriges Handmanipulationssystem, das mehrere komplexe Aufgaben mit kostengünstiger Sensorik ausführt. Es erreichte eine Erfolgsrate von 85 % bei fünf komplexen Aufgaben und 25 Objekten und generalisierte weiter auf drei ungesehene Aufgaben, die ähnliche Hand-Objekt-Koordinationsmuster wie die Trainingsaufgaben teilen.