一种多模态知识图谱表示方法及装置

本申请公开了一种多模态知识图谱表示方法及装置，属于计算机视觉表示领域。首先，获取目标实体的多模态嵌入，包括视觉模态、文本模态和结构模态，并计算由多模态嵌入形成的Gram矩阵。计算Gram矩阵的行列式，并最小化由Gram矩阵表示的几何体积，以协调不同模态之间的语义对齐，优化多模态表示。通过GraCon对比学习框架引入体积最小化约束，进一步优化多模态嵌入的几何体积，确保不同模态之间的语义一致性。引入实体锚定匹配损失，利用结构模态对齐每个实体，从而显著增强实体表示的准确性和一致性。使用Transformer编码器进行知识图谱补全任务的推理与预测。能够提升多模态表示质量，优化实体表示，提升了知识图谱补全的精度和鲁棒性。