一种文本对齐的人体运动生成方法及系统

本发明公开了一种文本对齐的人体运动生成方法及系统，属于计算机视觉和深度学习技术领域。本发明采用两阶段训练方式，第一阶段先训练重建人体运动的量化变分自编码器模型，再将量化变分自编码器模型中的解码器网络、经过预训练的文本到运动跨模态检索模型进行参数冻结后，与双向掩码Transformer模型组成训练框架进行训练，训练完毕后用于进行推理任务。本发明通过改进文本编码器、增添语义对齐损失以及采用双向掩码式Transformer架构，加强了整体的运动感知能力和生成运动的语义对齐，使得生成的人体运动序列更加符合原始数据分布，与输入的运动描述文本更具语义一致性，提高了运动生成质量。