摘要
本发明提供一种基于相关性划分的遥感图文检索方法,包括以下步骤:跨模态特征提取;基于Transformer最后一层注意力权重,选择注意力权重排名前预设比例的图像块特征和单词特征;分别计算图像与文本的全局特征相似度,以及通过非线性变换优化的局部特征相似度,以完成跨模态特征相似度计算;基于全局和局部特征相似度,采用概率分布模型对图文对进行划分,根据后验概率划分得到正样本对和负样本对,其中正样本对的后验概率大于预设阈值,负样本对的后验概率小于或等于所述预设阈值;使用动态调整权重的损失函数,根据样本对的相关性差异化训练模型;融合全局与局部特征计算图文相似度,返回匹配结果。
技术关键词
图文检索方法
样本
图像块特征
三元组损失函数
融合全局
后验概率
高斯混合模型
跨模态
多层感知器
文本
非暂态计算机可读存储介质
非线性
期望最大化算法
注意力
图像分割
特征提取模块
检索系统
处理器
系统为您推荐了相关专利信息
特征提取模块
程序特征
主题特征
特性预测方法
脚本
语义特征
图像分割模型
医学图像分割方法
样本
医学图像数据