灵巧手多模态运动轨迹预测模型生成方法及相关装置

本申请涉及一种灵巧手多模态运动轨迹预测模型生成方法及相关装置，用于灵巧手仿真抓取过程，包括：根据灵巧手的初始位置信息和目标物体的结束位置信息，生成灵巧手的运动轨迹；基于若干个运动轨迹点，获取灵巧手在运动轨迹中运动的多模态数据集，多模态数据集包括环境图像数据、第一多模态数据和第二多模态数据；对环境图像数据、第一多模态数据、第二多模态数据进行多模态特征融合，得到输入序列；基于预设的稀疏自注意力机制，将输入序列输入至待训练的自注意力模型中进行训练，得到运动轨迹预测模型。本申请提供的方案，能够通过多模态数据的融合，提高灵巧手运动轨迹预测的实时性与准确性，提高了灵巧手的抓取成功率。