基于多模态知识图谱的跨模态数据检索方法、系统及设备

本申请公开了一种基于多模态知识图谱的跨模态数据检索方法、系统及设备，该方法基于视觉特征向量和结构特征向量进行特征解耦，确定目标视觉投影向量；基于目标视觉投影向量和文本特征向量，构建路径约束对比学习损失函数；构建多模态知识图谱，挖掘多模态知识图谱中实体之间的有效路径；将有效路径编码为路径编码特征，并基于路径编码特征构建多尺度路径感知排斥损失函数；对路径约束对比学习损失函数和多尺度路径感知排斥损失函数进行联合优化，确定目标路径编码特征子集；将文本特征向量、目标视觉投影向量以及目标路径编码特征子集进行融合，得到联合向量；基于联合向量进行跨模态数据检索，得到检索结果。本申请能够提高图文检索的精确度。