自适应关键帧挖掘和时空图学习引导的多模态多目标跟踪方法

本发明公开一种自适应关键帧挖掘和时空图学习引导的多模态多目标跟踪方法，获取视频段的所有帧图像，将同一帧图像对应的可见光图像和热红外图像输入特征融合模块，生成嵌入；利用交叉注意力进行多模态间信息的融合，得到多模态融合特征；通过关键帧提取模块对视频进行自适应视频分段；关键帧提取模块基于强化学习方法，在学习过程中不断迭代最优的分段策略和最优奖励得分；将自适应分好的视频序列重复输入帧内特征融合模块模块和SUSHI块得到最终的跟踪结果。本发明利用热红外图弥补单模态信息的不足，利用强化学习自适应进行视频分段解决IDS问题；利用SUSHI模块挖掘帧间目标的时间关系，利用IFF模块挖掘帧内目标间的空间关系，进一步解决遮挡、相似外观问题，使得跟踪效果得到提升。