摘要
本发明提供基于鲁棒双哈希共识学习的跨模态检索方法及系统,涉及数据处理领域,该方法包括:构建图像模态网络、文本模态网络和原型;通过图像模态网络,提取多模态样本对的图像特征;通过文本模态网络,提取多模态样本对的文本特征;通过原型,得到多模态样本对的预测软标签;基于多模态样本对的预测软标签和原始标签,确定预测置信度,对预测软标签进行标签矫正;利用多模态样本对的图像哈希码、文本哈希码和矫正后的标签更新图像模态网络、文本模态网络和原型的参数,生成跨模态哈希检索模型;通过跨模态哈希检索模型,得到跨模态检索请求对应的跨模态检索结果,具有提高跨模态检索的准确性和鲁棒性的优点。
技术关键词
模态检索方法
多模态
样本
文本特征向量
图像特征向量
标签
原型
跨模态
双分支结构
网络
联合损失函数
矫正
模型训练模块
索引
参数
检索系统
矩阵
系统为您推荐了相关专利信息
事件识别方法
训练文本数据
对象
聚类
事件识别装置
拍球计数方法
运动传感器
手部可穿戴设备
特征提取模型
滑动窗口
语义分割网络
融合特征
输出特征
全局平均池化
编码器
计算机视觉
决策树分类算法
生成对抗网络
特征提取模型
分类器模型