摘要
本发明涉及图像匹配技术领域,可应用于金融科技及医疗健康等业务系统平台中,公开了一种基于双模态匹配的图像检索增强方法、装置、设备及介质,包括:对匹配图像集进行分片图像编码,得到分片图像特征组集,并根据分片图像特征组集对匹配文本集进行分片文本编码,得到分片文本特征组集;利用分片图像特征组集以及分片文本特征组集对语言图像模型进行对比训练,得到双模态匹配模型;利用双模态匹配模型根据用户历史图像和用户历史文本对匹配图像集进行初步图像匹配,得到初级召回图像序列;根据用户历史图像和用户历史文本对初级召回图像序列进行交叉编码排序,得到标准召回图像序列。本发明能够提升图像检索的精确度。
技术关键词
分片
文本
双模态
图像全局特征
图像局部特征
序列
图像编码
多尺度特征提取
图像特征集
注意力
聚类
特征匹配矩阵
跨模态
图像匹配技术
图像分割
可读存储介质
索引