基于HRformer的抓取位姿检测方法及系统

本发明公开了基于HRformer的抓取位姿检测方法及系统，涉及机械臂抓取位姿检测技术领域；该方法包括如下步骤：获取RGB图像和深度图像，对RGB图像和深度图像分别进行预处理操作；将预处理后的RGB图像和深度图像加权处理进行特征融合，形成多模态输入特征；主干特征提取：基于多模态输入特征，不同尺度均进行全局语义建模及局部特征提取，各尺度之间通过跨分支连接；抓取姿态预测：通过三个分支分别预测抓取点位置、抓取姿态和抓取质量评分，输出对应的热力图，完成最终的抓取姿态检测；设计加权的多任务损失函数。本发明充分利用了HRFormer在全局建模与局部感知上的优势，适应复杂背景和遮挡情况下的抓取任务。