基于最优传输与多头自注意力网络的多模态知识补全方法

本发明属于知识图谱嵌入技术领域，公开了一种基于最优传输与多头自注意力网络的多模态知识补全方法，包括：将不同模态的数据，使用相应模态的预训练模型提取结构、视觉图像和文本嵌入，将视觉图像向量表示和文本向量表示输入到多头自注意力网络层为实体的不同模态信息赋予权重，得到辅助模态信息的嵌入，将分别得到的三种模态的嵌入，以结构嵌入为基准，通过最优传输策略最小化Wasserstein距离将其他两个模态与结构嵌入对齐保持一致；将对齐的多模态嵌入与结构嵌入融合得到统一表示。本发明充分利用到多模态辅助信息，有效解决模态空间异质性。在链接预测方面实现更好的预测。