一种通用机器人灵巧手抓取示教装置及抓取策略学习方法

本发明公开了一种通用机器人灵巧手抓取示教装置及抓取策略学习方法。该方法包括获取多模态数据；建立SLAM模型，将多模态数据进行实时位姿计算，结合灵巧手的动作以在SLAM模型中实时回传；构建包括视觉编码器ViT、多头交叉注意力机制、力感知编码器MLP、拼接模块和Diffusion Policy的学习网络；训练学习模型；生成一个符合目标的动作；获得延迟补偿数据；得到更新的机器人动作生成策略；实时预测后续的动作序列。该装置包括IMU相机、纸面镜、固定装置、触觉传感器和计算机程序产品。本申请所述示教装置和抓取策略学习方法，可以适用于各种不同的机器人平台，通过模仿学习实现多种复杂任务的执行，如工业自动化、家庭服务和医疗护理等领域的操作任务。