基于多模态融合的车辆感知方法及系统

本发明涉及车辆感知技术领域，提供了一种基于多模态融合的车辆感知方法及系统，该方法包括：(1)通过摄像机获取车辆行驶前方的图像数据，通过激光雷达扫描车辆行驶前方及前方两侧视线盲区的点云数据；(2)对车辆行前方的点云数据与图像数据进行融合，基于融合后的空间特征识别对应区域内的目标物体，基于前方两侧视线盲区的点云数据来识别对应区域内的目标物体。从行驶前方的图像数据中提取不同尺寸的图像特征，对不同尺寸的图像特征进行拼接后，再投影至BEV空间，与BEV空间下的点云特征进行融合，基于获得的BEV空间下的融合特征进行目标物体的识别，极大的提高了行驶前方的目标物体识别精度。