摘要
本申请公开了一种基于注意力机制的跨模态哈希检索方法,包括:获取第一多模态数据;将第一多模态数据输入检索与表示学习模型,得到目标融合离散哈希码,目标融合离散哈希码用于对第一多模态数据进行检索;其中,检索与表示学习模型通过以下步骤得到:获取多个训练样本,训练样本包括第二多模态数据和第一融合离散哈希码;基于损失函数,将多个训练样本输入初始检索与表示学习模型进行模型迭代训练,直至损失函数值达到预设的收敛值,得到检索与表示学习模型,其中,初始检索与表示学习模型基于卷积神经网络、词袋模型、Transformer编码器和/或跨模态注意力机制构建。
技术关键词
矩阵
哈希检索方法
注意力机制
文本特征值
图像特征值
跨模态
多模态
单路
文本特征向量
图像特征向量
子模块
词袋模型
拉普拉斯
编码器
数据
线性