一种多语言多模态的短剧虚拟人脸图像生成方法

本发明公开了一种多语言多模态的短剧虚拟人脸图像生成方法，包括以下步骤：将待处理的音频、文本输入到语义提取模块提取语义特征；将时间步输入embedding层得到时间步特征；将提取到的语义特征和时间步特征一起输入到图像生成模块得到最终的图像。本发明不仅可以实现不同语种的文本和语音作为prompt控制生成的图片还可以有效的降低低质数据对模型效果的影响，同时采用在线数据筛查的方式，同样对模型效果起到了正向作用。