基于改进Swin-Unet的机械臂控制方法及系统

本发明涉及计算机视觉和机械臂自动化技术领域，公开了一种基于改进Swin‑Unet的机械臂控制方法及系统。包括以下步骤：S0获取目标工作场景的RGB色彩图像和深度图像；S1将所述深度图像转化为法向量角图像，并对两者进行拼接操作获得空间图像；S2利用抓取模型对所述RGB色彩图像和所述空间图像进行分析获得抓取参数；所述抓取模型基于改进的Swin‑Unet构建，包括：编码部分，分别提取所述RGB色彩图像和所述空间图像多个设定尺度的特征并进行特征融合；解码部分，将最小尺度的融合特征逐级向上采样到输入分辨率，并通过跳跃连接融合对应尺度的融合特征，进而预测获得抓取参数；S3基于所述抓取参数控制机械臂抓取目标物体。本发明能够在多物体杂乱场景下准确地判断出目标物体的位置信息并完成抓取。