基于语义关联相似性学习的跨模态图文检索方法及系统

本发明公开了一种基于语义关联相似性学习的跨模态图文检索方法，包括以下步骤：获取图像数据与文本数据，得到训练数据集；基于自适应语义关联相似性学习，构建初始跨模态图文检索模型；采用训练数据集，基于双向语义优化三元损失函数对初始跨模态图文检索模型进行训练，得到跨模态图文检索模型；使用跨模态图文检索模型，进行实际的跨模态图文检索。本发明还公开了一种实现所述基于语义关联相似性学习的跨模态图文检索方法的系统。本发明方法的模型中采用图文特征动态融合模块将图像文本特征动态融合，提高了跨模态检索的准确性和精度，同时采用自适应语义关联的相似性学习模块对局部相似性进行优化，显著提升了检索效率。