一种基于模态特异特征和模态共享特征的跨模态细粒度检索方法

本发明提出基于模态特异特征和模态共享特征的跨模态细粒度检索方法。跨模态细粒度检索任务的目标是用户给定任意一个样本作为查询样例，系统检索得到与查询样例相关的各个模态样本。一方面，本发明使用分支网络提取各个模态的模态特异性特征，以便充分利用每个模态的特征信息；另一方面，使用同一个网络提取模态的共同特征，以加强模态间的联系，使模型学习到不同模态数据间的共性及联系。这样同时利用各个模态自身的特有信息及不同模态的共享信息，增加高维语义空间向量中包含的语义信息，消减样本间的异构鸿沟和语义鸿沟，增强模型对高维空间向量的聚类能力，进一步提高模型的跨模态检索能力。