一种输入语音自动生成口型和表情的方法

本发明属于语音处理技术领域，涉及一种输入语音自动生成口型和表情的方法，包括：将输入的语音进行特征提取，得到音频特征序列；构建音生视频模型，包括：将不同语言和地区的人脸讲话视频，输入采用神经动态时间规整、基于注意力的时间对齐和音视频时间位置编码同步的Diffusion Transformer模型，训练得到音生视频模型；将音频特征序列输入音生视频模型，得到口型表情同步视频。本发明能够根据输入的语音，生成对应的口型表情同步视频，能够提升用户体验，进一步提高了生成视频的同步精度，提高了模型实时处理能力，生成的口型表情同步视频更加自然，能够跨语言和文化背景工作，适应全球不同地区的内容需求。