基于三维语义点云的零样本跨域模仿学习方法及相关设备

一种基于三维语义点云的零样本跨域模仿学习方法及相关设备，方法包括在物理仿真引擎中构建训练场景，随机生成操作对象位姿，使机器人动作完成操作任务；观测原始图像，利用仿真环境获取语义分割特权信息，将操作对象分割出来，结合仿真环境生成的深度图，获取操作对象语义点云；同步记录机器人关节角度，构建训练数据集；将操作对象语义点云与训练数据集输入模仿学习模型中，进行动作分块，并提取特征及进行特征拼接，生成预测动作序列，完成模型训练；将训练完成的模型部署至真实环境，获取操作对象语义点云，读取机器人当前关节角度并送给模型进行推理，输出机器人动作序列，完成指定任务。本发明能够在保证操作精度的同时提升策略的泛化能力。