一种基于多模态视觉定位的机械手自适应抓放系统

一种基于多模态视觉定位的机械手自适应抓放系统，应用于装填车上，包括机械手主控控制模块、多模态视觉定位模块、显控终端和手持遥控器；当所述显控终端响应用户指令向所述机械手主控控制模块下发抓放控制指令时，用户通过所述显控终端输入货物参数，所述机械手主控控制模块根据所述货物参数展开成不同姿态，同时向所述多模态视觉定位模块发送抓放位置测量指令，所述多模态视觉定位模块接收所述抓放位置测量指令后加载目标检测模型，测量抓放位置，并向所述机械手主控控制模块反馈抓放位置坐标信息，所述机械手主控控制模块接收所述抓放位置坐标信息后，控制机械手执行抓放动作。可自适应不同货物的状态，在不同场景下仍能精准定位，精准抓放。