一种开放词汇物体级神经辐射场建图方法

本发明公开了种开放词汇物体级神经辐射场建图方法，涉及机器人技术领域，首先物体级分割与部件级理解模块侧重于从二维图像中进行实例分割和描述特征、视觉语言特征提取，同时提取SAM掩膜尺度部件级特征。其次，跨视图实例掩膜聚类模块负责将来自不同视图的同一物体掩膜建立一致性关联，从而用于监督训练物体级NeRF。最后，神经辐射场渲染与训练模块接受来自不同视图的对象掩膜信息与特征信息，通过体渲染损失监督训练得到最终的开放词汇物体级神经辐射场地图。本发明能够增强对物体与部件语义推理能力的同时，使用神经辐射场高效表示场景，以用于开放词汇精确导航与操作。