一种基于图像和文字早期融合的多模态情绪识别方法

本发明公开了一种基于图像和文字早期融合的多模态情绪识别方法，包括以下步骤：将多模态情绪数据集进行预处理得到多模态情绪数据集的数据序列；利用所述多模态情绪数据集的数据序列建立基于图像和文字多模态情绪数据的交互融合模型；利用所述多模态情绪数据集的数据序列对基于图像和文字多模态情绪数据的交互融合模型进行多样本损失训练；利用所述基于图像和文字多模态情绪数据的交互融合模型，输入测试数据得到多模态情绪识别结果并分析模型性能。本发明方法提高了在视觉捕获和上下文信息理解的能力，允许模型适应特定领域的知识，早期融合提高了泛化性，在情感分析等方面优于现有方法。