一种基于多模态匹配与交互的图文情感分析方法及系统

本发明提供一种基于多模态匹配与交互的图文情感分析方法及系统，属于自然语言处理领域，包括：从原始文本中抽取情感辅助信息并与原始文本进行拼接得到输入文本，从输入文本中提取文本情感特征，并从原始图像中提取图像情感特征；将所述文本情感特征和所述图像情感特征进行多模态匹配，得到增强的文本特征和增强的情感特征，并将增强的文本特征和增强的情感特征分别使用交互注意力机制进行处理，得到文本引导的视觉稀疏特征和视觉引导的文本稀疏特征；将文本引导的视觉稀疏特征和视觉引导的文本稀疏特征经过注意力层和全连接层进行融合，得到图文融合特征；基于所述图文融合特征进行情感分类和情感一致性校准，得到图文情感分析结果。