一种基于视觉前缀和对比学习的多模态命名实体识别模型构建方法

本发明属于知识图谱相关技术领域，具体涉及一种基于视觉前缀和对比学习的多模态命名实体识别模型构建方法，构建命名实体识别网络，包括：视觉提示提取模块，用于提取图像内对象级别的包含低级纹理特征和高级语义信息的多层次特征，用作视觉提示；动态门控机制单元，用于为视觉提示中每层次特征计算权重以加权求和作为视觉前缀；语义特征提取模块，用于基于视觉前缀对文本数据进行融合视觉特征的语义特征提取，得到融合特征；训练过程中，将样本集中每个困难样本的图像特征和融合特征投影到对比学习空间，将所有困难样本的平均对比损失与基于融合特征的命名实体识别损失相加反向传播调整模型参数。本发明能提高多模态知识抽取的准确性。