基于大模型的医药双臂机器人任务与运动规划方法及系统

本发明公开了一种基于大模型的医药双臂机器人任务与运动规划方法及系统，先针对给定医药配制实验场景，使用RGB‑D相机和AprilTag标记系统获取双臂机器人待操作对象的位姿信息，并基于预训练的视觉‑语言大模型GPT‑4V和设计的环境理解提示工程获取双臂待操作对象的相对位置关系；将环境理解信息、用户任务需求和设计的任务规划提示工程输入至大模型生成双臂机器人的具体动作序列；基于大模型和设计的运动规划解析提示工程，解析动作序列对应的运动起始点和目标点信息；调用机器人开源运动库规划从运动起始点到目标点的可行路径，获取双臂机器人运动轨迹并安全执行。提升医药双臂机器人在复杂配药环境下的灵活性和操作效率。