一种3D数字人实时对话交互系统及方法

本发明公开了一种3D数字人实时对话交互系统及方法，通过获取用户输入的语音信号，将语音信号经过语音识别模型进行识别处理得到文本数据，输入到文本生成模型并输出语音文本数据，输入到语音合成模型并输出语音合成数据，将语音合成数据输入到3D表情生成模型并输出3D表情数据，根据语音信号和3D表情数据构建声音克隆模型并输出人声音频数据，对声音克隆模型进行微调并保存微调参数数据，使用户与数字人展开流畅、自然的对话，确保沟通的及时性和连贯性，极大地提升用户体验；通过接入知识库使数字人拥有海量的知识储备，为用户提供有价值的建议和指导，用户可个性化设置数字人的人物背景，增强了用户与数字人之间的情感连接。