基于假阴性样本软距离约束的图文跨模态检索方法及系统

本发明属于跨模态图文检索技术领域，公开了基于假阴性样本软距离约束的图文跨模态检索方法及系统，所述方法包括特征提取的步骤；混合分布假阴性样本挖掘的步骤：设计用于模型拟合的样本池，样本池中包含比例相同的同语义和不同语义跨模态特征的亲和矩阵，采用最大期望算法拟合亲和矩阵的高斯混合分布；计算当前输入图像特征和文本特征亲和矩阵，并利用最大后验方法确定负样本所属亚群体分布；通过比较累积概率与显著性水平，将阴性样本分类为“假阴性样本”、“真阴性样本”和“模糊样本”；计算软距离约束三元组损失。通过本发明缩小跨模态语义鸿沟，去掉单模态数据中的噪声，高效的挖掘出数据集中的“假阴性”样本，提高跨模态检索的准确性。