基于多模态问答大模型的持镜机器人控制方法及系统

本申请公开了基于多模态问答大模型的持镜机器人控制方法及系统，涉及机器人控制技术领域，方法包括：获取持镜机器人拍摄得到的图像；利用经过预先训练的多模态问答大模型获取图像对应的目标坐标；确定图像中器械尖端的坐标作为当前坐标，确定当前坐标与目标坐标之间的坐标误差；获取持镜机器人的当前关节角，根据当前关节角计算得到持镜机器人的当前末端位姿；根据坐标误差和当前末端位姿确定目标坐标对应的目标末端位姿；将目标末端位姿发送到持镜机器人，持镜机器人根据目标末端位姿进行轨迹规划并运动。可准确获取图像中器械尖端的当前坐标，利用多模态问答大模型准确预测目标坐标，根据坐标误差驱动持镜机器人，实现精准跟踪和稳定控制。