基于视频流与输入特征引导融合的RGBT目标跟踪方法及系统

本发明公开了基于视频流与输入特征引导融合的RGBT目标跟踪方法及系统，该方法包括：构建可见光‑热红外RGBT数据集；引入可见光图像RGB模态特征提取分支结构、热红外图像TIR模态特征提取分支结构以及输入特征引导融合模块，构建双分支RGBT目标跟踪预测模型；构建等间隔采样的若干模板图像；将最优模型参数嵌入至双分支RGBT目标跟踪预测模型并对可见光‑热红外RGBT数据集与等间隔采样的若干模板图像进行目标跟踪预测。本发明能够获取目标的关键信息并进行融合以及从视频流的历史帧中学习目标的外观信息和运动轨迹变化，进而提高目标跟踪检测的精度。本发明作为基于视频流与输入特征引导融合的RGBT目标跟踪方法及系统，可广泛应用于计算机视觉跟踪技术领域。