一种基于耦合-解耦特征增强的多模态目标跟踪方法

本发明公开了一种基于耦合‑解耦特征增强的多模态目标跟踪方法。针对红外与可见光图像之间存在的模态差异、语义冲突及互补信息利用不足等问题，提出一种耦合‑解耦特征增强模块，以提升多模态图像融合特征的表达能力与判别性。在耦合阶段，利用跨模态交叉注意力将多模态的目标信息进行有效融合，生成包含上下文的混合搜索特征；在解耦阶段，分别对各模态模板进行模态感知的注意力，以自适应获得特有的互补信息，同时保持语义一致。随后使用模内的交互来增强搜索区域的判别特征，从而提升定位准确性。本发明能够在复杂环境下充分发挥多模态数据的互补优势，提高目标跟踪系统的鲁棒性与精度，适用于各种多传感器融合的视觉任务。