摘要
一种中医问答数字人制作方法,包括以下步骤:构建中医知识库;搭建工作流,将中医知识库接入工作流;利用工作流的多轮问答方式确定病人具体病情;构建虚拟数字人;将工作流输入到gpt‑sovits语音克隆模型中,生成与虚拟数字人形象相匹配的个性化语音;将个性化语音输入到虚拟数字人中生成唇形同步的虚拟数字人视频;构建用于用户与虚拟数字人交互的前端界面;通过whisper语音识别技术,将用户语音转化为文本后传到后端,与中医知识库进行问答,并将生成的结果通过webRTC流媒体的形式返回。通过对中医中的自然语言进行深度理解和生成,通过多轮对话和数字人视频生成技术,使用户在虚拟中医师的解答过程中提升沉浸感和信任感,提升问答的效果。
技术关键词
工作流
可执行程序代码
语音识别技术
语音情感分析
个性化语音
视频生成技术
文本情感分析
短时傅里叶变换
情感分类器
图像分割模型
文本特征向量
BERT模型
四诊合参
掩蔽技术
处理器
可读存储介质
多轮对话
大语言模型
系统为您推荐了相关专利信息
车道
智能驾驶控制器
车载控制器
车辆控制方法
交通灯信息
辅助诊断系统
辅助诊断方法
视觉问答模型
视觉特征
修复术用
摩擦纳米发电
薄膜元件
语音识别方法
电信号
语音识别系统