一种基于生成对抗网络的多模态知识图谱补全方法

本发明涉及知识图谱技术领域，且公开了一种基于生成对抗网络的多模态知识图谱补全方法，用于解决现有技术中模态信息不均衡、模态融合策略粗糙以及模态缺失下推理能力下降等问题，尤其在仅进行尾实体预测任务时具有良好的泛化能力和鲁棒性，利用预训练对比学习模型对实体的图像与文本信息进行编码，提取多模态语义特征，并映射至统一的嵌入空间以实现模态对齐；其次通过细粒度模态注意力融合模块，根据不同模态在尾实体预测任务中的贡献动态调整权重，实现信息的有效整合；进一步引入基于卷积结构的生成对抗网络，通过构造伪模态特征增强模型对模态缺失的鲁棒性；随后采用RotatE评分函数建模三元组语义合理性，并结合自对抗负采样策略进行训练优化。