基于基座模型知识的机器人控制方法和装置

本发明提供一种基于基座模型知识的机器人控制方法和装置，涉及机器人控制技术领域，包括：将当前任务对应的文本提示词和视觉提示词输入多模态基座模型，得到多模态基座模型输出的虚拟视角；将多视角图像对应的三维点云投影到虚拟视角对应的图像平面，生成虚拟视角图像；将当前任务的语言指令和虚拟视角图像输入关键点预测模型，得到关键点预测模型输出的目标关键点的空间位置信息；基于目标关键点的空间位置信息，生成机器人的运动轨迹，并基于运动轨迹控制机器人执行当前任务。本发明提供的方法和装置，提高了机器人在三维操作任务中的感知效率和操作精度。