一种自然资源的多模态知识图谱构建与融合方法及系统

本发明公开了一种自然资源的多模态知识图谱构建与融合方法及系统，包括获取自然资源数据集，其中自然资源数据集包括文本数据集和影像数据集；提取文本数据集中各文本实体及其对应的各实体关系，得到文本三元组数据并构建文本知识图谱；提取影像数据集中各变化图斑在各时相的语义类别，得到影像三元组数据并构建影像知识图谱；提取并融合文本知识图谱和影像知识图谱的文本嵌入和影像嵌入，以及文本数据集和影像数据集中的文本特征和影像特征，得到实体嵌入；根据实体嵌入中各实体的相似度值，融合文本知识图谱和影像知识图谱，完成融合。本发明结合文本和影像的多模态数据处理及特征融合算法，实现多模态知识图谱的有效融合。