一种数字人数据获取方案及多模态驱动模型训练方法

本发明涉及一种数字人数据获取方案及多模态驱动模型训练方法，包括以下步骤：采用视觉编码器从图像中提取唇部动作特征，并将其转换为视觉表示；采用音频编码器将原始音频信号转换为连续的特征序列；采用一同步模块将视觉表示和连续的特征序列进行融合，得到融合后的特征向量；录制多个显示数字人表情和动作的视频；设计文本编码器处理网络输入的文本，使用时间序列学习模型将语音处理成文本时间序列数据；采用融合后的特征向量、多个显示数字人表情和动作的视频进行训练，得到能用的多模态驱动模型，将处理后的文本及文本时间序列数据输入能用的多模态驱动模型，生成数字人画面。本发明能实现更加自然的数字人生成效果。