基于跨模态感知的自学习多目标跟踪方法及系统

本发明公开一种基于跨模态感知的自学习多目标跟踪方法及系统，S1:采集可见光与红外视频流，进行时序对齐后输入一个基于Transformer的跨模态融合网络，通过交叉注意力机制深度融合两种模态的信息，生成融合特征图；S2：采用基于关键点的无锚框检测器CenterNet定位目标，并在目标中心点提取身份重识别Re‑ID特征；S3:采用一个并行的关联与预测流程，状态自适应预测器SAP模块对现有轨迹进行运动状态预测，一个置信序列关联器CSA模块通过在线学习马氏距离的统计分布，动态生成决策置信区间，进行决策判断；S4:引入全局轨迹修正器GCM模块，对轨迹中断进行后处理，实现轨迹缝合与身份ID修正。本发明实现了在复杂环境下对多目标进行实时跟踪。