一种基于数据增强的多模态知识图谱融合方法、系统、设备及介质

本发明公开了一种基于数据增强的多模态知识图谱融合方法、系统、设备及介质，方法包括对实体相关的图像和文本描述进行多模态数据增强；基于增强后的实体多模态数据，使用多模态预训练模型CLIP分别提取每个实体的视觉特征和文本特征；设计多模态特征引导的知识扩充模块，挖掘不同实体间的多模态特征相似性和相同属性信息的关联，进而实现多模态特征增强的实体语义扩充；基于扩充后的知识图谱通过图神经网络聚合实体邻居的多模态特征，以学习实体的结构特征；融合实体的多模态特征和结构特征，完成多模态知识图谱融合。本发明充分利用多模态知识图谱中的多模态数据和语义信息，有助于实现来自多个数据源的多模态知识图谱的有效融合。