摘要
本申请公开了一种分布式数字人交互方法和分布式数字人交互系统。分布式数字人交互方法包括:获取多模态数据;基于唇形同步动画生成模型对多模态数据进行流式处理,得到多模态数据对应的处理结果;基于处理结果进行渲染,得到数字人音视频流数据;基于处理结果进行文本内容显示,并基于数字人音视频流数据进行数字人的音视频播报。如此,可以即时得到多模态数据的处理结果,进而可以更快地进行文本内容显示和数字人音视频播报,满足了数字人交互的低延时交互需求。
技术关键词
人交互方法
梅尔频率倒谱系数
音视频
多模态
自然语言模型
内容显示
文本
核心服务器
语音识别模型
交互系统
服务器模块
算法服务器
全局特征提取
音频
动画
面部
网页服务器
页面数据