一种基于多模态特征融合的实体链接方法

本发明公开了一种基于多模态特征融合的实体链接方法，先将提及目标和候选实体的相关的多模态信息输入到语义增强模块中，对提及的文本和图像分别进行特征增强，再经过深度注意力网络，充分捕捉异构模态信息间的语义关联性，然后利用图卷积神经网络实现多模态特征的融合，分别得到提及目标和候选实体相应的多模态表征，最后依据提及目标和候选实体多模态表征之间的相似度大小对候选实体进行排序，选择相似度最大的候选实体作为预测的链接实体。