基于掩码指导信息融合的新闻场景多层级图文检索方法

本发明涉及多模态信息检索技术领域，具体公开了基于掩码指导信息融合的新闻场景多层级图文检索方法。本发明引入了基于掩码的交叉注意力模块，通过优化掩码语言模型损失指导图像和文本两个模态的信息更好地融合；通过选择相关程度最高的文本和图像特征，在两个模态之间进行更细粒度并且高效地对齐；充分考虑了新闻数据的数据特性，即新闻文章中图片和所有文本段的弱对齐关系，进而借鉴对比学习的思想，通过拟合数据的真实分布和模型输出分布来更新参数，更好地学习新闻图文之间的层级关联关系。