一种基于多模态特征融合的突发事件分类方法、系统及装置

本发明提供了一种基于多模态特征融合的突发事件分类方法、系统及装置，主要解决现有突发事件分类方法中存在的特征信息表示不全面从而导致分类效果不理想的问题。该方法包括以下步骤：首先，构建由多模态数据表征并带有类别标签的突发事件样本数据集并对其进行预处理；然后，利用BERT模型和ViT模型分别对样本中的文本数据和图像数据进行特征提取；接着，构建一种基于多头自注意力机制的多模态特征融合模块对提取到的文本特征和图像特征进行早期融合，并构建前馈神经网络模型对单文本特征向量、单图像特征向量及早期融合后的特征向量分别进行学习后相加以实现晚期融合；最后，构建分类器对晚期融合后的特征向量进行学习和分类，得到最终的分类结果。