基于对比学习和均衡哈希编码的跨模态检索方法

本发明公开了一种基于对比学习和均衡哈希编码的跨模态检索方法，包括：从输入的多模态数据中分别提取模态特定特征和模态共享特征，通过对比学习对齐不同模态的模态特定特征，使用基于最优传输的量化损失优化模态特定特征和模态共享特征；对模态特定特征和模态共享特征，通过二值化操作,生成模态特定哈希码和模态共享哈希码；基于模态共享哈希码通过K‑means算法进行语义聚类生成语义索引；通过语义索引在跨模态检索阶段对候选样本进行粗筛选，随后通过生成的模态特定哈希码和模态共享哈希码进行细粒度比较，实现高效的跨模态检索。本发明利用对比学习实现不同模态的语义对齐，并通过基于最优传输的量化损失优化哈希码的分布特性，以提高检索性能。