一种基于跨模态语义对齐的图像-文本检索方法

本发明公开了一种基于跨模态语义对齐的图像‑文本检索方法，首先将整张图像转化为一组区域级图像特征，然后利用语义增强模块处理区域级图像特征，获得增强后的区域级图像特征；然后通过两个自适应注意因子更新区域级图像特征中与文本句子中某单词特征相关的区域级图像特征；计算文本句子中每个单词特征和与其相关的每个区域级图像特征的相似性，并计算得到整个文本句子和整张图像之间的相似度得分；最后根据上述步骤，查询文本句子或图像时，检索出数据库中与此文本句子或图像相似度得分最高的L张图片或L个文本句子作为检索结果。本发明能更准确地编码区域级图像特征，并显著促进单词‑区域级图像匹配过程。