基于多模态和音频驱动的数字人构建方法

本发明公开了一种基于多模态和音频驱动的数字人构建方法，通过精细设计的多模态特征提取和融合模块，实现音频信号与人脸特征的深度联合嵌入，并采用多任务判别器机制，逐步引导高质量视频帧生成。该方法包括音频编码、人脸特征编码、多模态特征融合、解码渲染以及多尺度判别等关键技术环节，通过先进的深度学习策略，确保生成的数字人视频在唇部动作、情感表达和时序同步性上达到高度一致性。本发明尤其突出的是通过音视频对比学习和双重引导机制，不仅实现了数字人的精准音唇同步，还提升了生成视频的视觉质量和细节丰富度，在虚拟主播、智能交互等数字人应用领域具有重要的技术价值和广阔的实践前景。