一种基于多模态模型的情绪动态分解与响应方法

本发明公开了一种基于多模态模型的情绪动态分解与响应方法，包括：采集并预处理用户的语音数字信号；将语音数字信号输入语音识别模型，输出语音文字；将语音文字输入大语言模型，生成回复文字；将响应情绪标签和回复文字输入语音情绪模型，生成带有情绪的回复语音。本发明解决了现有技术中以文本或简单语音指令为主的人机交互模式对用户情绪感知有限的问题，能够深入理解用户情绪背后的复杂意图和情感需求，有效解决了传统单一模态情绪识别技术的局限性；通过融合多模态信息，充分利用语音、图像等不同模态的优势，有效弥补各自缺陷，在各种复杂环境下都能准确识别用户情绪，大幅提高识别准确率。