一种基于文本注意力的跨模态表征模型构建方法及检索方法

本发明涉及一种基于文本注意力的跨模态表征模型构建方法及检索方法，其在在线模型中增加了两个极具创新性的模块：基于注意力引导的掩码建模模块和文本增强模块。其中，注意力引导的掩码建模模块以文本编码前向过程中的注意力为参考，对文本描述中的单词进行自适应掩盖，这样一来，掩码语言建模模块在预测掩盖词的过程中，能够捕获与掩盖词相关联的语义进行对齐，从而更高效地对齐跨模态表征。文本增强模块以一种轻量化的方式来对下游任务数据集中的文本描述进行了扩充，解决了数据集中文本描述用词单一且存在错误等问题，提高了检索准确率。