基于视觉与触觉感知的灵巧手多物体稳定抓取方法及系统

本发明提供了一种基于视觉与触觉感知的灵巧手多物体稳定抓取方法及系统，包括：通过单目RGB‑D相机采集目标物体的RGB图像和深度图并生成稠密点云数据；利用三维点云神经网络提取几何特征，结合视觉信息分析复合物体分布特征；基于特征生成初始抓握策略并执行动作，同步通过本体感知和指尖力传感器实时获取关节状态及接触力数据；在搬运过程中，融合多维力感知与关节状态分析物体受力分布及重心偏移；以视觉和力传感数据为输入。本发明融合视觉、本体感知与力传感数据，解决了多物体复合抓取中三维结构识别与动态受力调控难题，相比单一感知方案，显著提升了复杂场景下的抓取规划精度与自适应能力，尤其适用于餐盘携带餐具等松散物体组合的稳定搬运。