搭载多模态生成式大模型的采摘机器人及采摘方法

本发明提供一种搭载多模态生成式大模型的采摘机器人及采摘方法，包括移动装置、控制装置、六轴机械臂、末端采摘执行机构、末端相机、侧面相机、全局相机以及各个传感器；控制装置装载软件程序，软件程序搭载所应用的多模态生成式大模型。通过本发明的搭载多模态生成式大模型的采摘机器人及采摘方法，将现实世界的RGB图像直接映射到采摘机器人动作中，使采摘机器人能够从视觉输入中学习并模仿执行特定的动作，并在执行具体采摘作业的任务时，将现场环境获取的数据实时导入到大模型，根据实时反馈，在按规划路径执行采摘作业的过程中自适应调整动作状态以便提高采摘的准确性。