基于深度引导与跨模态特征融合的物体6D位姿预估方法

本发明公开一种基于深度引导与跨模态特征融合的物体6D位姿预估方法，该方法包括：采集目标物体的RGB图像及Depth图像，将Depth图像转换至相机坐标下的三维点云，对三维点云进行预处理；通过语义分割网络提取RGB图像中的目标区域，同时该目标区域映射至预处理后的三维点云，获得处于目标区域内的目标三维点云；将RGB图像的目标区域及目标三维点云输入6D位姿预估模型，输出目标物体当前在相机坐标系下的6D位姿。在目标物体存在部分遮挡时，通过点特征卷积网络提取目标物体的深度特征，再经深度特征来引导RGB特征权重的调整，有利于改善遮挡导致的目标物体定位精度低的问题。