摘要
本申请提出一种基于显式高斯记忆的具身三维语义占用预测方法,包括:在待探索的三维场景中均匀随机生成显式三维高斯群,将三维高斯群存储为高斯记忆;在接收到实时RGB图像输入后,根据当前相机的位姿及视锥范围,从高斯记忆中读取当前视锥内的三维高斯群;将读取的三维高斯群与根据输入图像提取的语义特征和深度特征进行交互融合,更新高斯特征向量,并将更新后的高斯群存储至高斯记忆;基于当前维护的高斯记忆,结合语义占用溅射模型生成当前场景已探索部分的三维语义占用预测结果;随着对实时RGB图像输入的逐帧处理,基于不断更新的高斯记忆,逐步生成当前场景的全局三维语义占用预测结果。本申请能够解决室内场景中的具身三维语义占用预测问题。
技术关键词
记忆
计算机执行指令
联合损失函数
图像
场景
感知特征
深度预测网络
焦点损失函数
语义特征提取
可读存储介质
标签
注意力机制
预测装置
相机
处理器通信
存储器
策略