Avanzando la estimación semi-supervisada de la pose de la mano en tres dimensiones basada en profundidad mediante entrenamiento por consistencia

A pesar del progreso significativo que los métodos de estimación de pose manual tridimensional (3D) basados en profundidad han logrado en los últimos años, gracias a los avances en Deep Learning, todavía requieren una gran cantidad de datos de entrenamiento etiquetados para alcanzar una alta precisión. Sin embargo, recopilar tales datos es costoso y requiere mucho tiempo. Para abordar este problema, proponemos un método semi-supervisado de Deep Learning para reducir significativamente la dependencia de los datos de entrenamiento etiquetados. El método propuesto consiste en dos redes idénticas entrenadas conjuntamente: una red docente y una red estudiante. La red docente se entrena utilizando tanto las muestras etiquetadas como las no etiquetadas disponibles. Aprovecha las muestras no etiquetadas mediante una formulación de pérdida que fomenta la equivarianza en la estimación bajo un conjunto de transformaciones afines. La red estudiante se entrena utilizando las muestras no etiquetadas con sus pseudo-etiquetas proporcionadas por la red docente. Para la inferencia en tiempo de prueba, solo se utiliza la red estudiante. Experimentos extensos en benchmarks desafiantes (ICVL, NYU, MSRA) demuestran la efectividad del método propuesto. Notablemente, nuestro enfoque supera significativamente a los métodos semi-supervisados de vanguardia en todos los conjuntos de datos. Fundamentalmente, utilizando solo el 25% de los datos etiquetados disponibles, nuestro método logra una precisión comparable y, en ocasiones, superior a los métodos completamente supervisados de última generación entrenados con el 100% de las etiquetas. Incluso con solo el 1% de etiquetas, nuestro método supera técnicas semi-supervisadas previas, alcanzando un error medio de distancia de 6.94mm y 8.71mm en ICVL y NYU, respectivamente. Estos resultados significan una reducción sustancial en los requisitos de anotación, haciendo que la estimación de pose 3D de alta precisión sea más práctica y accesible.