基于多模态深层特征代理交叉注意力引导的目标跟踪系统

本发明涉及一种基于多模态深层特征代理交叉注意力引导的目标跟踪系统，该方法结合使用可见光图像以及热红外图像，通过创新的代理交叉注意力机制提升跟踪算法在复杂光照条件下的表现。该系统包括一个多模态检测器和一个数据关联器，该检测器由双分支特征提取网络、代理交叉注意力特征增强模块、特征金字塔共享卷积模块组成；数据关联器包含了一种神经卡尔曼滤波器和基于低置信度检测框重用策略，通过动态调整过程噪声与观测噪声参数，解决复杂运动场景的挑战，提高长期跟踪性能。本发明通过在深层特征层面进行多模态数据融合，优化了目标的检测与跟踪，提高了在复杂环境下的跟踪精度与稳定性。