基于多模态情绪识别的人机交互方法、装置和业务系统

本申请提供了一种基于多模态情绪识别的人机交互方法、装置和业务系统，该方法包括：将多模态特征拼接为描述向量；根据描述向量确定注意力权重；基于注意力权重将描述向量与预设基础情绪融合为情绪分层向量；基于情绪分层向量、描述向量和实际情绪训练第一任务头，基于情绪分层向量、描述向量和实际状态训练第二任务头；将情绪分层向量和描述向量分别输入第一任务头和第二任务头得到对应识别结果；根据识别结果确定目标语言风格并根据目标语言风格生成目标输出语言。该方法解决了现有技术中在进行复杂情绪谱系分析时特征信息处理不当，导致情绪组成的识别和情绪异常的判定不准确，进而导致人机交互输出准确性不足，降低用户体验的问题。