一种两阶段渐进式模态增强机制的RGB-T目标跟踪方法及装置

本申请公开了一种两阶段渐进式模态增强机制的RGB‑T目标跟踪方法及装置，涉及目标跟踪技术领域，包括：将多模态视频图像序列通过补丁嵌入以令牌的形式传入Transformer编码器,对初始输入进行两阶段模态提升：令牌级模态提升阶段将两个模态的模板和搜索区域信息通过情景感知令牌分类方法进行分类，并针对三类令牌设计多模态协同提示器，对模态内和模态间令牌的交互进行限制；特征级模态提升阶段将令牌级阶段模态提升后的输出进行映射得到更高层的特征，并以跨模态的方式引导并增强目标特征的表达；将经历两阶段模态提升后得到的特征进行拼接融合，送入预测头实现跟踪，本发明从令牌信息到特征表示逐步增强多模态信息的表征能力，提高了目标跟踪的精准度。