多模态模型的情感驱动2D超自然数字人视频生成系统

本发明涉及图像识别加工技术领域，公开了多模态模型的情感驱动2D超自然数字人视频生成系统，包括：语音输入模块，用于接收用户的语音信号后将其转换为数字信号；语音预处理模块，用于对语音信号进行噪声消除和归一化处理；语音情感分析模块，基于语音预处理模块数字信号提取情感特征；多模态生成模块，用于将情感特征映射为数字人手势和数字人口型动作；视频生成模块，用于将手势和口型动作与语音信号同步并生成2D数字人视频。本发明中，通过多模态生成模型将语音情感特征准确地映射为数字人的手势和口型动作，生成与情感类别、情绪强度和语气特征高度匹配的动作，从而在视觉上呈现出情感丰富的表达效果，使用户体验更具真实性。