基于短语匹配组合的跨模态检索方法

本发明公开了一种基于短语匹配组合的跨模态检索方法，首先，针对每个图像输出一组网格特征来表示该图像，再映射到公共语义空间；随后，使用文本主干网络将单词序列转化为文本表示，再映射到公共语义空间；接着，引入不同层次的GCN堆叠，对不同范围内的非邻域短语进行建模，预测复杂场景下的图文语义相似度；然后，通过组合局部片段匹配、邻域短语匹配和多个非邻域短语匹配，更全面地反映图文语义相似度；最后，采用带有难负样本挖掘的铰链损失监督模型训练。本发明的方法可以很好地进行跨模态检索，在多个数据库上取得了具有竞争力的结果。