一种基于语义哈希的多模态数据标识生成方法及系统

本发明公开了一种基于语义哈希的多模态信息标识生成方法及系统。该方法包括如下步骤：对多模态数据进行数据预处理和多模态特征提取，获取包含丰富语义信息的统一表示；采用各模态独立的对齐投影网络将特征映射到共享语义空间，并引入跨模态对比学习与标签监督，实现不同模态间的语义对齐；将多模态数据对齐后的高维特征，压缩生成固定长度的哈希码；生成包含至少2个模态的语义信息的统一语义哈希码；通过统一语义哈希码在数据库中查找出现该哈希码的次数，生成冗余码，与统一语义哈希码拼接成为该样本的标识；基于统一语义哈希码，在训练集中查询与测试集中待查询类别相关的哈希码，实现不同模态统一标识及高效检索。