一种基于Transformer的跨模态特征融合与精炼的目标跟踪方法

本发明涉及一种基于Transformer的跨模态特征融合与精炼的目标跟踪方法，包括对给定的RGB与红外视频序列获取模板图像对和搜索图像对；构建包含非对称周期性插入令牌自适应融合与精炼模块的双路目标跟踪网络；将模板图像对和搜索图像对分别输入双路目标跟踪网络，通过令牌自适应融合与精炼模块进行跨模态特征融合与精炼，并将融合后的特征矩阵送入预测头，最终输出跟踪目标的位置信息。本发明解决现有RGBT跟踪器中跨模态特征融合不充分、计算冗余以及未能对模板和搜索区域特征进行差异化处理的问题，通过引入一个非对称应用的令牌自适应融合与精炼模块，在有效融合多模态信息的同时，提升了计算效率和跟踪的鲁棒性。