摘要
本发明公开了一种虚拟数字人共情能力增强方法、装置、设备、介质及产品,涉及人机交互及虚拟数字人技术领域。所述方法是先基于用户的对话数据,提取得到用于反映用户对话理解结果、用户语音情绪和用户面部情绪的多模态特征信息,然后将多模态特征信息导入基于机器学习算法预训练得到的用户真实意图识别模型,输出得到用户真实意图识别结果,最后根据大语言模型提示词库,结合识别结果和对话内容,生成回应提示词,并根据提示词控制虚拟数字人面向用户进行基于大语言模型的共情回应,如此不仅可以使数字人的回应内容准确且贴切,还能使数字人的语气及表情等与用户保持一致,实现更加真实的共情交互体验。
技术关键词
深度学习算法
语音情绪识别
大语言模型
数据采集单元
意图识别模型
机器学习算法
面部
情绪识别技术
人机交互技术
语义
模态特征
支持向量机算法
音频
自然语言
可读存储介质
存储计算机程序
收发器
系统为您推荐了相关专利信息
公路隧道照明系统
调光指令
中央控制单元
调光驱动模块
照明灯具模块