摘要
本申请公开了一种基于多模态特征的障碍检测方法及装置,涉及智能驾驶技术领域,方法包括:确定车辆在目标方向上的待测空间,采集待测空间对应的当前激光点云和当前相机图像;其中,当前激光点云为在当前时刻采集的单帧激光点云,当前相机图像为在当前时刻采集的单帧相机图像;对当前激光点云进行特征提取,得到第一3D体素特征;对当前相机图像进行特征提取,得到第一2D图像特征;对第一3D体素特征和第一2D图像特征进行多模态特征融合,得到第一融合特征;将第一融合特征输入至预先训练好的障碍检测模型中,得到障碍检测模型输出的待测空间内的障碍信息。本申请在障碍预测前进行了多模态特征融合,提高了障碍检测的精度。
技术关键词
占用栅格
像素点
融合特征
图像
障碍检测方法
相机
注意力
激光
点云
解码器结构
多模态特征融合
学生
教师
蒸馏
编码器
语义
障碍检测装置
智能驾驶技术
车辆