摘要
本发明公开了一种交警数字人交互方法及装置,所述交警数字人交互方法包括搜集交通相关知识的数据集,将交通相关知识信息处理为问答对格式,使用整理后的问答对格式结构的内容构建交通知识库;获取用户多模态输入信息,提取用户多模态输入信息中的问题内容信息;根据问题内容信息从交通知识库中检索问题相关信息,根据问题相关信息调用大语言模型生成问题回复信息;将问题回复信息转化为语音音频信息;根据语音音频信息通过基于神经辐射场的说话人脸生成技术渲染交警形象视频;将渲染完成的交警形象视频进行实时流式显示;系统通过流水线并行的方式实时生成结果,以结合知识库的智能体方案提高回复质量,提供更加逼真的数字人实时交互效果。
技术关键词
人交互方法
人脸生成技术
大语言模型
多模态
检索内容信息
交通
文本
视频
音频
格式结构
信息处理
知识库问答
语音识别模型
队列
电子设备
可读存储介质
生成语音
交互装置
系统为您推荐了相关专利信息
存储芯片
大语言模型
DRAM器件
数据
存储单元阵列
实体
预训练语言模型
关系抽取方法
图谱
大语言模型
图像综合特征
可见光图像
图像多模态
图像梯度信息
模态特征