تقدم تقدير موضع اليد ثلاثي الأبعاد شبه المُشرف عليه المعتمد على العمق باستخدام تدريب الاتساق

على الرغم من التقدم الكبير الذي أحرزته طرق تقدير موضع اليد ثلاثي الأبعاد (3D) المعتمدة على العمق في السنوات الأخيرة بفضل التطورات في التعلم العميق، إلا أنها لا تزال تتطلب كمية كبيرة من بيانات التدريب المعلّمة لتحقيق دقة عالية. ومع ذلك، فإن جمع هذه البيانات مكلف ويستغرق وقتًا طويلاً. لمواجهة هذه المشكلة، نقترح طريقة تعلم عميق شبه مُشرف عليها لتقليل الاعتماد بشكل كبير على بيانات التدريب المعلّمة. تتألف الطريقة المقترحة من شبكتين متطابقتين تُدربان بشكل مشترك: شبكة معلم وشبكة طالب. تُدرب شبكة المعلم باستخدام العينات المعلّمة وغير المعلّمة المتاحة. تستخدم العينات غير المعلّمة من خلال صياغة خسارة تشجع التقدير المتكافئ تحت مجموعة من التحويلات الأفينية. تُدرب شبكة الطالب باستخدام العينات غير المعلّمة مع تسميات مزيفة تقدمها شبكة المعلم. أثناء الاستدلال في وقت الاختبار، تستخدم فقط شبكة الطالب. تُظهر التجارب المكثفة على مجموعات البيانات الصعبة (ICVL، NYU، MSRA) فعالية الطريقة المقترحة. بشكل ملحوظ، تتفوق طريقتنا بشكل كبير على طرق شبه المُشرف عليها الحديثة عبر جميع مجموعات البيانات. والأهم من ذلك، باستخدام 25٪ فقط من البيانات المعلّمة المتاحة، تحقق طريقتنا دقة تقارن، وأحيانًا تتفوق، على طرق مشرفة بالكامل حديثة تدربت على 100٪ من العلامات. حتى باستخدام 1٪ فقط من العلامات، تتفوق طريقتنا على التقنيات شبه المشرفة السابقة، محققةً متوسط خطأ مسافة يبلغ 6.94مم و8.71مم على ICVL وNYU على التوالي. تشير هذه النتائج إلى تقليل كبير في متطلبات التعليق، مما يجعل تقدير موضع اليد ثلاثي الأبعاد عالي الدقة أكثر عملية ويسر الوصول.