Apprentissage par imitation visuelle à partir d'une démonstration unique pour des tâches robotiques de prise et de pose multi-étapes

L'apprentissage par imitation, également connu sous le nom de programmation par démonstration, s'est révélé être un paradigme prometteur pour la programmation intuitive des robots par des utilisateurs non experts. Cependant, l'approche kinesthésique classique avec guidage manuel physique souffre d'un manque de généralisabilité entre différents types de robots et est peu pratique pour la démonstration de tâches à long horizon. L'apprentissage par imitation visuelle permet l'enregistrement de tâches multi-étapes sous forme d'une vidéo continue unique, permettant aux non-experts de démontrer les tâches naturellement. Les approches existantes nécessitent généralement une grande quantité de données pour développer des modèles d'apprentissage profond de bout en bout qui mappent les pixels bruts aux actions du robot. Cet article explore l'application de l'apprentissage par imitation visuelle à partir d'une démonstration unique, réduisant significativement les besoins en données et simplifiant le processus de programmation. Pour atteindre cet objectif, un cadre est proposé pour mapper les trajectoires de la main à l'effecteur final du robot, consistant en quatre composants essentiels : détection de la main ; détection d'objet ; segmentation des trajectoires en compétences élémentaires ; et apprentissage des compétences. Des méthodes sont développées pour chaque composant et évaluées sur des vidéos enregistrées pour démontrer l'efficacité du cadre proposé.