一种基于自适应通道交换的渐进式多模态目标跟踪方法

本发明公开了一种基于自适应通道交换的渐进式多模态目标跟踪方法，用于解决红外与可见光图像之间的模态差异问题。该方法采用模态混合层设计，通过渐进式交互策略实现跨模态特征的高效融合。具体地，首先计算跨模态通道相关性矩阵，利用多层感知器预测通道交换概率，并在训练阶段采用概率重参数化技术实现自适应通道选择；随后，将混合后的多模态特征输入参数共享的双流Transformer网络进行联合特征提取和关系建模。该方法通过渐进式特征交互，有效缩小模态间分布差异，提升特征融合效果。本发明在复杂环境下能够显著提高多模态目标跟踪的准确性和鲁棒性，适用于智能监控、自动驾驶等领域的多传感器视觉系统。