基于视觉驱动机器人的垃圾分拣方法

本发明公开了基于视觉驱动机器人的垃圾分拣方法，涉及机械臂目标抓取技术领域，包括以下步骤：采集并预处理待测目标的RGB图像数据和深度图像数据；通过经LoRa微调后GroundingDINO大模型获得目标检测框；通过SAM大模型获取待测目标的分割掩码；将待测目标的RGB图像、深度图像和分割掩码输入GraspNet网络，推测待测目标的最终抓取姿态；计算机械臂实际的抓取位姿矩阵；机械臂实际的抓取位姿矩阵驱动机械臂电机，控制机械臂向下运动到待测目标完成抓取任务。本发明通过多模态融合、LoRa微调与SAM/GraspNet协同，实现鲁棒精确的检测分割与像素级抓取规划，快速适配新类别，基于机械臂位姿几何精度提升抓取成功率与分拣效率。