基于多模感知和硬度触觉检测的物体分拣方法及臂手系统

一种基于多模感知和硬度触觉检测的物体分拣方法及臂手系统，其中方法包括：1、构建水果硬度分类网络的训练集，并对水果硬度分类网络进行训练；2、对深度相机进行手眼标定，并将深度相机视觉感知到的目标位置映射到机械臂的运动轨迹上；3、对YOLOv8模型进行训练；4、在深度相机和训练后的YOLOv8模型的共同协助下，机械臂利用机械夹爪抓取目标水果，将第一柔性触觉传感器的触觉信息传输到训练后的水果硬度分类网络，得到目标水果的硬度；5、对水果成熟度进行分类，并分拣到指定的位置。本发明利用视觉指导臂手系统抓取，实现了对目标水果的全触觉成熟度检测，提高了检测效率、且在生活、生产场景里具有良好的普适性。