一种基于多模态交互融合的RGBT实时跟踪方法及系统

本发明公开了一种基于多模态交互融合的RGBT实时跟踪方法及系统，方法包括以下步骤：获取可见光图像对应的第一特征和红外图像对应的第一特征；获取第一融合特征；获取得到可见光图像对应的第二特征和红外图像对应的第二特征；获取得到可见光图像对应的第三特征和红外图像对应的第三特征；获取第二融合特征；获取可见光图像对应的第四特征和红外图像对应的第四特征；获取第三融合特征；将第三融合特征与第一帧可见光图像进行通道空间融合，得到第四融合特征；将第四融合特征进行池化处理后，通过全连接网络进行目标识别，得到实时跟踪结果。本发明可以兼顾RGBT实时跟踪的性能和速度。