摘要
本发明涉及一种基于分层信息聚合哈希的跨模态检索方法及系统,所述方法包括以下步骤:采集不同模态的数据并分别进行预处理后构建为训练数据集;构建跨模态检索模型,所述跨模态检索模型包括特征提取模块、学生模块以及教师模块;基于训练数据集对跨模态检索模型进行训练;基于训练完成的跨模态检索模型构建多模态数据库,将检索内容输入跨模态检索模型,跨模态检索模型的学生模块提取检索内容与数据库内容特征并投影至公共汉明空间,根据检索内容与数据库内容的汉明距离输出检索结果。
技术关键词
模态检索方法
跨模态
多模态数据库
图像特征编码
教师
学生
分层
网络
特征提取模块
汉明距离
模型训练模块
文本
数据采集模块
量化误差
检索系统
处理器