基于混合对比学习及多任务学习的多模态情感分析方法

本发明属于多模态情感分析技术领域，具体涉及基于混合对比学习及多任务学习的多模态情感分析方法。本方法首先通过单峰特征增强模块UFEM优化从预训练模型中提取的单模态特征，然后使用这些优化后的特征联合训练多模态和单模态任务；此外，本方法使用混合对比学习策略来促进多模态数据的学习表示，通过无监督对比学习增强多模态融合的表示能力，并通过有监督对比学习提升模型在缺乏单模态注释时的性能；最后，基于无监督对比学习的特性，本方法提出了一种新的单峰标签生成模块ULGM，它能够在较短的训练周期内稳定生成单模态标签。本方法可以更好的学习单模态特征表示、优化多模态特征表示，从而提升多模态情感分析结果的有效性。