基于跨模态交互增强与知识蒸馏的快速RGBT目标跟踪方法

本申请的实施例涉及计算机视觉技术领域，特别涉及一种基于跨模态交互增强与知识蒸馏的快速RGBT目标跟踪方法，该方法包括：基于可见光模态、热红外模态的模板图像、搜索区域和对应的真实标签构建训练样本集；构建由可见光特征提取网络、热红外特征提取网络、跨模态交互增强网络和多模态跟踪头组成的RGBT目标跟踪模型；选定教师模型，并将RGBT目标跟踪模型作为学生模型；将训练样本集中的样本对应输入至学生模型、可见光教师模型和热红外教师模型，进行模态间蒸馏和模态内蒸馏，再结合真实标签和多模态跟踪头的输出，构建总体损失函数并进行训练至收敛为止，得到训练完成的RGBT目标跟踪模型；对训练完成的RGBT目标跟踪模型进行部署，实现实时RGBT目标跟踪。