一种基于自动驾驶环境下的双模态特征级融合的行人目标检测方法

本发明属于图像的目标检测领域，具体涉及一种基于自动驾驶环境下的双模态特征级融合的行人目标检测方法。其实现步骤是：首先，从KAIST数据集中获取自动驾驶场景中红外和可见光双模态的行人目标信息，进行数据预处理。其次，基于SURF算法对双模态图像进行配准，为后续的目标检测网络训练提供更好的训练样本。然后，采用双分支特征提取策略和多阶段特征交互融合策略对YOLOv7网络进行改进并进行训练。最后，将待检测图像输入改进的YOLOv7目标检测网络中进行检测，对不同尺度下特征进行提取，将各阶段特征进行融合，并将融合特征输入检测头进行目标检测。经实验验证，该方法可以有效克服了复杂场景下的行人检测困难的问题，保持检测精度稳定，在复杂条件下具有更高的识别精度，同时检测速度较快；提升了YOLOv7网络在处理双模态行人目标时的性能，显著提高了目标检测的准确性和效率。