利用一致性训练推进基于深度图的半监督三维手势姿态估计

尽管基于深度图的三维（3D）手势姿态估计方法近年来在深度学习的推动下取得了显著进展，但仍然需要大量标注的训练数据以获得较高的准确度。然而，收集这类数据既昂贵又费时。为了解决该问题，我们提出了一种半监督深度学习方法，以显著降低对标注训练数据的依赖。该方法由两个结构相同的网络组成：教师网络和学生网络，它们共同训练。教师网络利用可用的标注和未标注样本进行训练，通过一种损失函数鼓励在一组仿射变换下估计的一致性，从而利用未标注样本。学生网络则使用教师网络提供的伪标签来训练未标注样本。在测试推断时，仅使用学生网络。我们在具有挑战性的基准数据集（ICVL、NYU、MSRA）上进行了大量实验，验证了该方法的有效性。值得注意的是，我们的方法在所有数据集上均显著优于最新的半监督方法。关键在于，仅使用25%的标注数据，我们的方法就能达到甚至超越使用全部标注数据训练的全监督最新方法的准确度。即使仅使用1%的标注数据，我们的方法仍超过先前的半监督技术，在ICVL和NYU上分别实现了6.94毫米和8.71毫米的平均距离误差。这些结果意味着大幅降低了标注需求，使高精度三维手势姿态估计更为实用和可及。