一种基于超图神经网络的多模态实体关系抽取方法

本发明涉及自然语言处理技术领域，特别是涉及一种基于超图神经网络的多模态实体关系抽取方法，包括：获取文本‑图像对并输入预设的超图构建模型中，获取文本‑图像对的节点特征和多模态超图结构，其中，多模态包括文本和图像，超图结构包括一组超边集，超边集中的每条超边能够同时连接多个节点，且超边连接的节点数量不受限制；将节点特征和多模态超图结构输入预设的超图神经网络模型中，输出文本‑图像对中的多模态实体关系，其中，超图神经网络模型用于从语义和语境关系分析超图节点信息传播，结合注意力机制赋予模态间语义信息的相应权重。本发明能够有效融合多模态信息，识别多模态信息的实体类别与实体关系。