摘要
本发明公开一种与玩家交互的智能NPC系统,多模态模型和前端系统;所述多模态模型和所述前端系统通信相连;所述多模态模型包括语音转文字模块、智能问答模块、文字转语音模块以及动作表情生成模块;所述前端系统根据来自所述动作表情生成模块的动作序列和表情变化信息,控制NPC角色模型执行对应的动作。采用本发明,多模态模型根据玩家提出的问题,而生成回复,回复的文字也会生出对应的语音,语音跟随NPC的动作一起回复给玩家,从而在前端系统形成一个与玩家交互的具有“独立思维”的NPC虚拟人,为了今后更加逼真、更加模拟真实的游戏提供保障。
技术关键词
NPC系统
文字转语音模块
前端系统
深度学习识别模型
动作表情
玩家
自然语音
文本
子模块
答案
多模态
序列
自然语言理解
音频播放组件
韵律特征
波形合成器
音频输入接口
语音特征