摘要
本发明公开了一种视觉和激光雷达多模融合占据栅格检测方法及系统。其中,方法包括:获取图像数据的2D图像特征和点云数据的3D体素特征;将2D图像特征和3D体素特征与初始稀疏体素查询向量分别进行特征交互,得到图像模态的稀疏体素查询向量和雷达模态的稀疏体素查询向量,对图像模态的稀疏体素查询向量和雷达模态的稀疏体素查询向量进行融合,得到一维稀疏体素查询向量,并对一维稀疏体素查询向量进行上采样处理,以获得多模态稀疏体素查询向量和对应的特征向量的查询坐标;对多模态稀疏体素查询向量中的特征向量进行处理,以根据特征向量的查询坐标,得到占据栅格检测结果。如此,降低计算成本,部署简单,适用处理大规模场景。
技术关键词
激光雷达
栅格
多模态
多层感知器
图像
视觉
稀疏特征
特征金字塔网络结构
上采样
坐标
多尺度特征金字塔
深度学习模型
特征提取模块
稀疏编码器
数据
采样点
点云
更新模型参数
系统为您推荐了相关专利信息
多模态信息融合
参数估计方法
参数估计模型
人体骨骼
空间结构特征
信号灯检测方法
仿真数据
检测头
编码器
深层卷积神经网络
混合神经网络模型
智能检测方法
边缘检测算法
音响检测技术
麦克风阵列
辅助图像采集装置
人机互动方法
投影装置
面部特征
相邻墙体