一种基于全局-局部对比学习的跨模态检索方法

本发明提供了一种基于全局‑局部对比学习的跨模态检索方法，采用评分机制使一个实例对应多个正样本，将图像和文本全局特征输入变分自编码器，将生成特征加入正样本集合进行学习，从而进一步增强模型的判别能力；采用ResNet‑152网络和BERT模型分别提取图像和文本的局部特征，采用软注意力机制学习图像区域和文本单词之间的相关信息，软注意力机制通过加权计算每一个文本单词与每一块图像区域之间的相关性，故无需对文本单词和图像区域进行细粒度标注。本发明解决当前对比学习方法中正负样本选取不够灵活的问题，解决了现有方法忽略数据间细节语义信息的问题。