面向多模态情感分析的多粒度跨模态对比学习方法及装置

本申请涉及一种面向多模态情感分析的多粒度跨模态对比学习方法及装置，其中，方法包括：对文本模态、视觉模态和音频模态分别进行编码，得到编码后的文本模态、编码后的视觉模态和编码后的音频模态；构建样本内正负对和样本间正负对，根据样本内正负对进行样本内对比学习，并根据样本间正负对进行样本间对比学习；根据总体对比损失函数、多模态预测损失函数和单模态预测损失函数优化多粒度跨模态对比学习模型，以利用优化后的多粒度跨模态对比学习模型得到目标多模态的情感分析结果。由此，解决了相关技术将各个模态视为平等的，忽略了模态间的差异性，导致在融合过程中各模态未能充分交互，易造成重要信息丢失，影响最终结果的准确性等问题。