一种基于互信息和跨模态文本增强的多模态情感分析方法和装置

一种基于互信息和跨模态文本增强的多模态情感分析方法和装置，其方法包括：(1)对公开数据集进行预处理后，分别提取数据集中的文本、视觉和声学特征；(2)构建MICTE多模态情感分析模型，通过跨模态文本增强注意力模块CTEA，将文本模态信息中丰富的情感信息有效融入视觉模态和声学模态，并通过互信息最大化模块MIM，在输入级增强模态间的关联性，在融合级进一步提炼与任务相关的关键信息，剔除冗余信息；(3)利用训练集和验证集对MICTE模型进行训练和验证，选择性能最好的模型作为最终的模型；(4)将测试集输入到最终训练完成的MICTE模型中，得到情感分析结果。本发明深入挖掘了不同模态间的关联性，显著提升了融合模态的质量，从而提高了多模态情感分析的准确性。