目的针对夜间低光照环境下目标特征退化与背景噪声导致跟踪器特征匹配失效及模板更新漂移的问题。提出一种融合黑暗感知提示的夜间目标跟踪框架(ProDAPT),不同于现有方法仅在输入端进行简单的像素级叠加或浅层特征注入,ProDAPT创新性地以冻结的Transformer为基础,构建全链路黑暗感知提示机制。方法首先,提出跨层层级一致性提示生成器(CTCP),利用迭代反向投影与跨层语义约束,在深层特征空间中强制恢复被噪声稀释的目标结构;其次,设计提示语义校准注意力(PSCA),通过提示特征的结构先验作为显式偏置校正Transformer的注意力分布,有效抑制夜间相似干扰物导致的注意力弥散;最后,提出能量感知双重门控更新策略(EDGU),利用提示能量作为独立于分类分数的结构完整性的度量指标,实现更加可靠的动态模板更新。结果在NAT2021、LLOT和UAVDark135三个主流基准数据集及自采的4K分辨率自动驾驶跟车数据集上进行实验。该算法在三个公开数据集上的成功率分别达到0.557、0.585和0.608,其中在NAT2021上相比同类提示学习方法DCPT提升了3.1%;在NVIDIA A100硬件上的推理速度达到76.8FPS,参数量仅为全量微调的7.03%,并在自采数据集的真实夜间场景中也展示了良好跟踪效果。结论该方法通过全链路黑暗感知机制,有效增强了夜间特征鉴别力与更新可靠性,为解决夜间视觉跟踪任务中的感知与决策断层问题提供了新的有效途径。
Building similarity graph...
Analyzing shared references across papers
Loading...
Jiang Yanji
Zong Yali
Dong Hao
Journal of Image and Graphics
Building similarity graph...
Analyzing shared references across papers
Loading...
Yanji et al. (Thu,) studied this question.
www.synapsesocial.com/papers/69b3aaa802a1e69014ccb77c — DOI: https://doi.org/10.11834/jig.260034