摘要
本发明涉及机器人领域,公开了一种基于三维视觉的自动抓取方法及系统,包括:以所述轴对齐选择框集合为初始条件,在多尺度融合特征上执行旋转边界框检测:通过多层解码器进行自回归迭代更新,回归五参数向量定义的旋转边界框,所述五参数向量包括中心坐标、主轴长度、次轴长度及逆时针旋转角;对候选框进行置信度过滤后,采用旋转非极大值抑制剔除重叠框,生成旋转框集合;通过手眼标定矩阵映射到机械臂基座坐标系,结合高度动态补偿输出三维抓取位姿指令至机械臂控制器,完成抓取。本发明采用融合卷积局部感知与注意力全局建模的混合网络,配合自回归旋转框迭代机制,使倾斜目标的检测框角度误差降低。
技术关键词
抓取方法
旋转框
机械臂控制器
机械臂基座
物体倾斜角
手眼标定
视觉
图像传感器
融合特征
多尺度特征
注意力
混合网络
坐标系
分类阈值
抓取动作
旋转角
分类网络