一种基于交互隐藏状态时空信息的RGBT目标跟踪方法及系统

本发明公开了一种基于交互隐藏状态时空信息的RGBT目标跟踪方法及系统，该方法包括：结合RGB模态图像和TIR模态图像构建RGBT图像样本数据集，获取RGBT图像坐标序列对；引入共享词汇表单元、具有交互桥的特征提取模块以及交互模态融合模块，构建RGBT目标跟踪模型；基于RGBT图像样本数据集与RGBT图像坐标序列对对RGBT目标跟踪模型进行目标跟踪预测，得到目标跟踪预测结果。本发明能够在两个独立模态之间进行通道的特征交互和融合并更有效地利用跟踪序列的时空信息，提高在复杂场景下目标跟踪的精度。本发明作为一种基于交互隐藏状态时空信息的RGBT目标跟踪方法及系统，可广泛应用于计算机视觉目标跟踪技术领域。