摘要
本申请提供一种基于多传感器融合的障碍物识别方法,包括部署视觉传感器与激光雷达;建立智能驾驶设备底盘坐标系、视觉传感器坐标系、激光雷达坐标系;联合标定视觉传感器与激光雷达,生成与视觉传感器图像对应的激光雷达特征图;将智能驾驶设备周围的二维图像数据和激光雷达采集二维点云数据两种数据进行同步处理;将视觉传感器图像与激光雷达特征图进行初步融合生成联合特征图;将激光雷达数据返回的信息附加到联合特征图的像素位置上,形成增强的多模态输入数据;最终进行多层融合,并对所述融合目标检测模型进行迭代优化。本申请有效弥补了单一传感器在复杂环境下的不足,提高了目标检测的整体精度,尤其在雨雾、夜晚等环境下具有明显优势。
技术关键词
视觉传感器
障碍物识别方法
多传感器融合
激光雷达数据
智能驾驶设备
深度学习网络模型
坐标系
VGG网络
特征金字塔网络
二维图像数据
融合策略
雷达点云数据
恶劣天气条件
误差反向传播
生成多尺度
系统为您推荐了相关专利信息
风格
多模态
多模型方法
联合概率数据关联
方向盘
旋转变换矩阵
图像分割模型
坐标
机器人视觉
特征点
双目视觉传感器
异构传感网络
设备运动轨迹
矿井作业面
高密度点云
数字孪生
校验模块
多维时序数据
状态监测数据
作业工具
动态避障系统
数据处理模块
生成环境地图
数据采集模块
高斯粒子滤波算法