基于多模态情感的大模型对话方法、装置、设备及介质

本申请涉及一种基于多模态情感的大模型对话方法、装置、设备及介质，尤其涉及自然语言处理技术领域。包括：接收用户的多模态输入，并对多模态输入进行多模态情感分析得到多模态情感表征；将多模态情感表征和当前对话上下文输入情感生成网络，得到情感生成网络输出的当前情感倾向；基于当前情感倾向对历史情感倾向进行更新，得到目标情感倾向；将目标情感倾向和当前对话上下文输入解码器，得到解码器输出的情感回复内容。本申请实施例提升了情感理解的准确性，适应于用户情感波动，能够生成连贯且一致的情感回复内容。