摘要
本发明提供一种多模态融合的道路拓扑推理方法和系统,将提取的车道掩码转换为历史点云中的语义种子点,基于语义种子点进行伪标签设置。基于具有伪标签的历史图像和历史点云进行模型训练得到车道检测模型。利用车道检测模型从实时图像和实时点云中获得车道线信息,将车道线信息映射至鸟瞰特征图中,基于鸟瞰特征图中的车道线信息计算车道线之间的拓扑关系,得到拓扑推理矩阵,再基于图神经网络并根据拓扑推理矩阵得到对应的道路拓扑推理结果。本方案,基于伪标签生成机制,减少了对人工标注的依赖,降低数据制备成本,引入基于鸟瞰空间统一映射的车道线表示方法以及车道拓扑推理的有效融合,可得到高精度且具有良好拓扑一致性的车道拓扑推理结果。
技术关键词
车道线信息
推理方法
车道检测
多模态
实时图像
语义
标签
点云
种子
矩阵
视角
坐标系
推理系统
多层感知器
生成机制
文本
编码
系统为您推荐了相关专利信息
特征提取网络
多模态
调节单元
信息融合机制
高斯混合模型
疾病关联预测方法
嵌入特征
多模态网络
多尺度特征融合
符号
眼底图像配准方法
多模态
关键点
血管分割
图像配准装置