图像-文本跨模态哈希码提取模型建立方法及其应用

本发明公开了图像‑文本跨模态哈希码提取模型建立方法及其应用，属于跨模态检索领域，包括：利用哈希模型分别提取训练集和当前训练批次中的图像的哈希码和文本的哈希码，并建立图像全局图、图像局部图、文本全局图和文本局部图，利用图像局部图重建文本特征，利用文本全局图重建图像特征；建立损失函数，并进行模型训练直至损失函数收敛；损失函数包括：模态内对比损失，用于拉近全局图中相邻哈希码间的距离，并拉远不相邻哈希码间的距离；模态间对比损失，包括全局图中各节点与其相邻节点所匹配的另一模态哈希码间的相似度损失；以及重建损失，包括重建所得特征与原始特征间的损失。本发明能够提高图像‑文本跨模态检索的准确度。