基于对比学习和视角对齐的三维视觉定位方法

本发明公开了一种基于对比学习和视角对齐的三维视觉定位方法，包括：学习输入文本的特征，原始三维场景中物体的基于属性引导的点云特征，角度变换后三维场景中的物体的基于属性引导的点云特征；利用自对比损失和跨模态对比损失训练视角内对比网络对齐文本特征和物体原始点云特征对，对齐文本特征和特定视角下的物体点云特征对，获得原始场景和随机视角下场景中物体的多模态特征；利用跨视角对比损失训练跨视角对比网络，对齐不同视角下的物体多模态特征；利用定位一致性损失和定位损失训练视觉定位网络，对齐不同视角下物体定位置信度。在推理时，对于查询文本和原始点云，从预测的视觉定位结果中选择置信度最高的物体作为最终定位结果。本发明通过专注特定视角内和跨视角的物体点云特征的对齐来提升对涉及对视角相关的文本描述的理解，并提升对三维视觉定位的准确性和对视角变化的鲁棒性。