一种基于语言交互的机械臂推抓协同操作系统及其控制方法

本发明公开了一种基于语言交互的机械臂推抓协同操作系统，包括：图像数据采集模块，用于采集工作区间的彩色图像Irgb和深度图像Idepth；视觉语言定位模块，用于输入场景彩色图像Irgb和自然语言描述L，将图像和语言有效地映射到目标掩膜M上；推动决策模块，用于输入场景彩色图像Irgb和深度图像Idepth，利用DQN强化学习算法输出机械臂要执行的推动作；抓动作预测模块，用于输入目标掩膜M，从而输出预测的机械臂抓取动作；机械臂运动控制模块，用于接收算法输出的目标位置后规划出运动轨迹，进而输出控制信号；机械臂抓取单元，用于接收控制信号按规划出的运动轨迹运动并进行物体的抓取或推动。该系统基于目标掩膜的直线拟合抓取方法大幅提高了目标导向抓取的成功率。