基于多视角对比学习的联合多模态实体关系抽取生成方法

本发明公开了基于多视角对比学习的联合多模态实体关系抽取生成方法，具体涉及实体关系抽取技术领域，方法将所有抽取文本中的实体关系的三元组转换成由头实体及其实体类型、尾实体及其实体类型的位置索引以及两个实体之间的关系组成的序列，通过基于BART的编码‑解码模型，从多模态输入中端到端生成目标索引序列；基于实体、图像和上下文增强分别为每个训练样本构建了三个正样本，并引入多视角对比学习算法，该算法采用批内负样本的交叉熵目标，以最小化正样本之间的距离，并通过目标索引序列指定头实体、尾实体在句子中的区间，以及关系的类别，以便多模态表示能够捕捉到具有相似实体和关系提及的样本之间的语义相似性。