基于实体语义引导与关系融合的无配对跨模态检索方法

本发明公开了一种基于实体语义引导与关系融合的无配对跨模态检索方法，包括：从实体数据集中提取实体图像特征与实体文本特征；基于实体图像特征与实体文本特征，通过负样本选择以及模态内邻居关系约束获得实体公共语义空间；基于实体公共语义空间，通过伪配对生成与筛选方法获得高置信图文伪配对集；基于高置信图文伪配对集，通过关系融合模块捕获关系信息并对齐，获得融合公共语义空间；基于融合公共语义空间计算图文之间的相似性，依据相似性进行排序并输出跨模态检索结果。本发明与其它无配对跨模态检索方法相比，性能明显提高，学习得到的空间能够从更深层次对数据进行准确表达，整体方法可解释性更优。