基于跨模态语义关联学习的运动姿态生成方法

本发明公开了基于跨模态语义关联学习的运动姿态生成方法，涉及深度学习和运动姿态生成的技术领域，对文本进行处理得到文本特征序列，对运动姿态视频进行处理得到姿态特征序列；利用解码器对文本特征序列进行解码得到解码后的姿态特征序列；计算文本特征序列与解码后的姿态特征序列之间的余弦相似度；对于一个批次的样本数据，计算每个样本的文本特征序列与解码后的姿态特征序列之间的距离，构建距离矩阵；根据姿态损失、跨模态语义对齐损失和多模态语义对比损失得到目标优化函数，并进行模型训练；利用训练后的模型对文本进行运动姿态生成。本发明提高运动姿态视频生成的准确性和连贯性。