一种基于多模态数据融合的机器人动态抓取方法和系统

本发明提供了一种基于多模态数据融合的机器人动态抓取方法和系统，包括：通过机器人对采集的待抓取动态物体的视觉数据和触觉数据进行多模态融合，得到多模态融合数据；根据多模态融合数据，利用基于区域提议的目标检测算法对待抓取动态物体进行目标识别，得到位置姿态信息；基于位置姿态信息，对待抓取动态物体进行状态预测，得到状态预测信息；根据状态预测信息，利用强化学习算法，生成机器人的抓取路径；本申请通过对采集到的视觉数据和触觉数据进行多模态融合，能够使得机器人获得全面的环境信息，增加机器人对环境变化的适应能力；通过对待抓取物体的状态进行预测，使得机器人能够预判物体的运动轨迹，有利于提高机器人的抓取成功率。