基于级联的多模态数字人实时对话系统及方法

本发明公开了基于级联的多模态数字人实时对话系统及方法，属于人工智能技术领域，要解决的技术问题为：如何实现高效、多模态且可定制的数字人实时对话。包括：语音识别模块，用于通过工业级语音识别工具包将用户语音转换为文本信息；大语音模型模块，用于根据语音识别模块输出的文本生成对话回复信息；文本转语音模块，用于将大语音模型模块输出的回复信息转换为语音信息；说话人生成模块，用于基于语音信息、通过精确唇形同步技术生成数字人说话视频；前后端交互模块，用于实现视频的流式传输以及用户交互。