一种基于BERT、ViT和宽度学习的图文多模态情绪原因对识别方法

本发明公开了一种基于BERT、ViT和宽度学习的图文多模态情绪原因对识别方法，属于情绪原因对识别技术领域。本发明对文本和图文数据分别通过预训练模型BERT和ViT进行向量化表示，采用Transformer编码器对文本特征和图像特征进行融合，生成多模态特征表示，使用图注意力网络建模文本子句关系，将经图注意力网络处理后的图文融合特征进行宽度学习横向特征扩展，并与图注意力网络处理后的图文融合特征进行拼接，利用宽度学习扩展后的图文融合特征进行情绪原因对识别。本发明能有效地获取经宽度学习特征增强的图文融合特征，有效提高了文本评论情绪原因对识别结果，本发明的精确率，召回率以及F1值均优于现有模型。