基于语音输入的个性化全身动作生成方法

本发明公开了一种基于语音输入的个性化全身动作生成方法，该方法包括：获取适用于人体模型的身体参数，以及提取用户的音频特征；基于身体参数，针对头部模型和身体模型，分别构建来自两个变分自编码器的的分离量化潜在空间；从用户的音频特征中提取节奏和文本内容，为头部模型和身体模型分别生成融合有音频的内容和节奏且相适宜的特征表示；遮罩姿势进行处理，编码有效的身体提示信息，并通过时间交叉注意力选择性融合音频特征和身体提示信息，实现遮罩姿势的重建；分别解码头部和身体的动作信息，并估计全局平移，生成最终的全身动作。本发明充分挖掘和利用数据特征提高动作生成的准确性和自然度，使得生成的动作更符合音频内容。