一种基于知识引导扩散模型的无监督跨域视觉情绪识别方法

本发明提出一种基于知识引导扩散模型的无监督跨域视觉情绪识别方法，属于计算机视觉与自然语言处理技术领域。本发明在知识引导的扩散模型及混合专家预测模型训练阶段，通过情绪类别标签训练多模态混合专家模型的同时，情绪类别标签对构造的不同反事实样本进行反事实对比学习，以调优跨域的视觉情绪对齐的一致性并为目标域的样本生成伪标签。在预测阶段，知识引导的扩散模型及混合专家预测模型能对所属不同领域的图片进行情绪类别的识别输出。解决了现有技术中模型无法同时分析不同类型图片情感的问题，进一步的，解决了不同类型图片之间情绪表达差异和情感分布偏移的问题。