التعلم بالتقليد البصري من عرض لمرة واحدة لمهام الروبوت متعددة الخطوات لالتقاط ووضع الأشياء

لقد أظهر التعلم بالتقليد، المعروف أيضًا بالبرمجة عن طريق العرض، كونه نموذجًا واعدًا لبرمجة الروبوتات بشكل بديهي من قبل مستخدمين غير متخصصين. ومع ذلك، فإن الطريقة الحركية الكلاسيكية باستخدام التوجيه اليدوي الفعلي تعاني من ضعف القابلية للتعميم عبر أنواع روبوت مختلفة، كما أنها غير عملية لعرض المهام ذات الأفق الطويل. يتيح التعلم بالتقليد البصري تسجيل المهام متعددة الخطوات كفيديو مستمر واحد، ما يسمح للمستخدمين غير المتخصصين بعرض المهام بشكل طبيعي. تتطلب الطرق الحالية عادةً كمية كبيرة من البيانات لتطوير نماذج تعلم عميق شاملة تربط بين البكسلات الخام وأفعال الروبوت. تستكشف هذه الورقة تطبيق التعلم بالتقليد البصري من عرض لمرة واحدة، مما يقلل بشكل كبير من متطلبات البيانات ويبسط عملية البرمجة. لتحقيق هذا الهدف، تم اقتراح إطار عمل لربط مسارات اليد بالمؤثر النهائي للروبوت، ويتألف من أربعة مكونات أساسية: كشف اليد؛ كشف الجسم؛ تقسيم المسارات إلى مهارات أساسية؛ وتعلم المهارات. تم تطوير طرق لكل مكون وتم تقييمها على مقاطع فيديو مسجلة لإظهار فعالية الإطار المقترح.