基于文本驱动跨模态融合和互信息估计的多模态情感分析模型构建方法

本发明公开了一种基于文本驱动跨模态融合和互信息估计的多模态情感分析模型构建方法，包括：提取待分析视频的文本特征、音频特征和视频特征，构建具有上下文时序信息的特征提取模块；基于跨模态注意力机制使其他模态特征能够感知文本情感信息，构建堆叠文本驱动跨模态融合模块；为尽可能保留任务相关信息并滤除与任务无关的噪声信息，构建对融合特征向量进行互信息上下界估计的互信息估计模块；结合互信息估计模块与主任务损失函数构建损失函数模块；构建将融合特征向量输入到激活函数进行情感极性判断的预测模块。本发明构建的多模态情感分析模型在两个公开可用的数据集进行了全面实验，实验结果表明该模型的情感分析性能有显著提升。