摘要
本发明涉及一种基于时间交叉状态空间模型和中心投票的环视相机语义占用预测方法,包括以下步骤:使用由车载多相机构成的环视阵列采集图像数据集;使用图像骨干网络进行特征提取和编码,得到多相机图像的多尺度特征;对多相机图像的多尺度特征采用可变形注意力机制来生成当前帧的3D体素特征;采用交叉状态空间模块来融合过去多帧的3D体素特征,得到融合时间信息的3D体素特征;使用体素骨干网络和语义占用预测头以多尺度方式进行上采样、特征拼接和特征解码,得到语义占用预测;对粗糙的语义占用预测应用相对中心投票模块和并行融合策略模块来生成精细的语义占用预测。本发明对多相机构成的环视阵列采集的图像,具有更为准确的语义占用预测效果。
技术关键词
状态空间模型
环视相机
空间模块
计算机可执行指令
融合策略
注意力机制
上采样
图像
汽车周边环境
处理器
网络
坐标
解码
场景类别
阵列
语义标签
相机安装