一种基于多源融合成像的目标识别跟踪方法及系统

本发明公开了一种基于多源融合成像的目标识别跟踪方法及系统，包括：获取多模态环境监测数据并进行预处理，基于预处理后的多模态环境监测数据进行图像增强，得到图像增强多模态环境监测数据；对图像增强多模态环境监测数据进行多模态特征提取，引入交叉注意力机制对提取后的多模态特征进行融合构建跨模态融合特征；构建级联目标识别模型，输入跨模态融合特征对当前监测场景进行目标识别；对当前监测场景内的场景识别目标进行跟踪生成场景目标跟踪信息并存储至预设轨迹记忆池中；当进行目标跟踪时出现跟踪目标断联状况，则获取失配跟踪轨迹，结合轨迹记忆池进行跟踪轨迹断联修复。从而提高对监测场景内目标的识别准确性和跟踪可靠性。