Das Erlernen motorischer Fähigkeiten durch visuelle Beobachtung ist ein grundlegender Bestandteil menschlicher Intelligenz, doch die Übertragung dieser Fähigkeit auf robotische Systeme bleibt eine offene Herausforderung. Aktuelle Ansätze entwickeln ein implizites Verständnis der 3D-Szenenstruktur durch roboterspezifisches Training. Der Transfer zwischen verschiedenen Roboterplattformen wird dabei durch die Skalierung der Trainingsdatenmenge erreicht; allerdings ist die Erhebung solcher Demonstrationsdaten kostspielig und zeitaufwendig. Andere 3D-basierte Methoden stützen sich auf kuratierte Datensätze, was ihre Skalierbarkeit auf Internetvideodaten einschränkt. Diese Arbeit adressiert beide Einschränkungen durch einen „Learning-from-Observation“-Ansatz, der Manipulationsstrategien direkt aus menschlichen Videodemonstrationen lernt und keine roboterspezifischen Trainingsdaten erfordert. Aufgabenrelevante Objekte werden aus RGB-D-Videos mithilfe von Detektions- und Segmentierungsmodellen extrahiert, wobei die resultierenden Masken zur Initialisierung 3D-Partikeltrajektorien verwendet werden, die durch ein Point-Tracking-Modell propagiert werden. Diese Trajektorien dienen als Trainingsdaten für ein konditioniertes Diffusionsmodell, das objektzentrierte Bewegungsmuster lernt, konditioniert auf der initialen Szenenbeobachtung und Aufgabenlabels. Im Einsatz extrahiert dieselbe Methode die Objektgeometrie aus einem Live-Kamerabild, generiert und bewertet Kandidatentrajektorien und führt die beste Trajektorie mithilfe eines kartesischen Impedanzreglers aus. Dadie Policy im objektzentrierten 3D-Raum anstelle des Roboterkonfigurationsraums operiert, ist sie per Design roboterunabhängig. Der Ansatz wird anhand einer Einschenkaufgabe in 77 realen Versuchen evaluiert und erreicht eine Erfolgsrate von 66,2%. Der Transfer auf eine zweite Roboterplattform erzielt 62,5% Erfolg ohne erneutes Training und bestätigt, dass die gelernte Repräsentation übertragbare geometrische Strukturen auf Aufgabenebene kodiert. In Experimenten mit unbekannten Objekten erreicht die Methode bis zu 50% Erfolg, während ein visuelles Diffusionsmodell als Baseline vollständig versagt, was den Vorteil expliziter 3D-objektzentrierter Repräsentationen gegenüber impliziter Tiefenwahrnehmung verdeutlicht. Insgesamt legen die Ergebnisse nahe, dass die partikelbasierte Repräsentation menschlicher Demonstrationen einen praktikablen und skalierbaren Ansatz zur Erlernung robuster, plattformunabhängiger Manipulationsstrategien darstellt.
Benedikt Frey (Wed,) studied this question.