基于跨模态对齐与融合的多模态实体和关系抽取方法及系统

本发明公开了基于跨模态对齐与融合的多模态实体和关系抽取方法及系统，包括：对输入文本和图像进行处理和编码，获得多种图像和文本特征；以图像的语义表示为锚点，分别对细粒度和粗粒度的文本特征与像素级图像表示进行特征对齐，将图像和文本特征映射到同一语义空间；通过文本引导动态门控聚合、视觉前缀跨模态融合、跨模态图文匹配，进行多粒度特征融合，增加特征互补性的同时建模文本中名词短语与图像对象的关联，获得多粒度的多模态特征表示；通过实体引导注意力门控融合多粒度的多模态特征，聚集文本实体相关的视觉信息，获得最终的多模态融合表示；根据多模态融合表示，分别进行多模态命名实体识别和多模态关系抽取的任务预测。