一种基于引导式跨模态机器人的物体点云重建方法

本发明涉及一种基于引导式跨模态机器人的物体点云重建方法，包括：获取机器人单视角下物体的深度图像和对应的RGB图像，进行预处理，获得物体点云残缺数据；采用点云分类编码器对点云分类任务进行编码，并采用点云分类解码器进行解码，得到物体的分类结果；基于物体点云残缺数据，采用点云数据编码器进行位置嵌入编码，得到含有位置编码的点云特征；获取机器人单视角盲区位置的物体的触觉数据，触觉空间编码器进行编码，获得触觉特征；采用视触跨模态融合模块对点云特征和触觉特征进行融合，并在融合过程中利用分类结果进行引导；采用金字塔解码器对融合特征进行解码，得到物体的完整点云。与现有技术相比，本发明具有精度高等优点。