摘要
本发明公开了基于图注意力机制的对比学习无监督跨模态哈希检索算法,涉及跨模态检索技术领域。该基于图注意力机制的对比学习无监督跨模态哈希检索算法,通过预训练的CLIP模型对图像和文本数据进行特征提取,得到图像模态特征和文本模态特征,并通过数据增强生成额外的正样本;基于图注意力网络通过欧式距离和余弦相似度计算相似性,通过对比邻接矩阵,对正样本赋予高权重,对负样本赋予低权重。达到了能够有效融合图像和文本模态的特征,并将它们映射到一个共同的哈希空间,图注意力机制能够自适应地调整不同模态特征之间的连接权重,突出语义相关性强的样本,从而确保图像和文本之间的语义一致性的优点。
技术关键词
模态特征
检索算法
注意力机制
无监督
样本
文本
聚类方法
图像
跨模态检索技术
生成哈希
数据
参数
网络
随机噪声
语义特征
多模态
系统为您推荐了相关专利信息
序列异常检测方法
日志
样本
BERT模型
预训练语言模型
图像生成方法
处理器
图像处理技术
计算机程序产品
像素块
注意力机制
锂离子电池
特征信息融合
滑动窗口算法
记忆单元