基于双流网络融合的可见光-热成像目标检测方法

本发明涉及计算机视觉和模式识别技术领域，公开一种基于双流网络融合的可见光‑热成像目标检测方法，包括：将数据集中配对的RGB图像及对应的IR图像构造成四通道的输入数据；将输入数据归一化至预定的大小；提取可见光图像中的特征得到RGB特征图；提取红外图像的空间信息得到IR特征图；将RGB和IR特征图展平后并联拼接起来得到拼接特征向量；拼接特征向量依次经过3个多层感知机处理生成对应的查询矩阵Q、键矩阵K、值矩阵V，并计算特征融合后的交互特征向量；构成新的拼接特征向量；对新的拼接特征向量进行目标检测；训练目标检测模型，得到最终的RGB‑IR特征融合目标检测模型；利用最终的RGB‑IR特征融合目标检测模型在开源数据集上进行目标检测。