一种跨模态特征融合方法及系统

本发明涉及自动驾驶技术和机器人技术领域，公开了一种跨模态特征融合方法及系统。方法包括：获取车载相机和激光雷达分别采集的原始图像和原始点云数据；基于原始图像进行维度拉升处理以得到第一特征点云，并基于第一特征点云进行压缩映射处理，得到相机模态二维特征；获取原始点云数据对应的第二特征点云，并基于第二特征点云得到激光雷达模态二维特征；根据第一特征点云和第二特征点云生成第三特征点云，并基于第三特征点云进行压缩映射处理，得到混合模态二维特征；基于相机模态二维特征、激光雷达模态二维特征和混合模态二维特征，生成跨模态融合特征。通过本发明的方案，有利于为智能驾驶提供更精确、可靠的环境感知能力。