一种基于局部特征融合的图像多模态相似度识别方法

本发明公开了一种基于局部特征融合的图像多模态相似度识别方法，包括：1利用卷积神经网络提取输入图像的整体特征；2将输入的图片划分为大小相同的区块，使用自动编码器提取每个区块的特征，获得局部特征；3将图像整体特征和局部特征进行融合，形成综合特征；4依据综合特征形成多个关系向量，构建基于局部特征融合的多模态相似度网络；5构建损失函数，并进行训练以获得最优模态相似度模型；6利用训练好的模型识别输入图像对之间的相似度。本发明能从整体和局部的角度衡量输入图像对的相似性，在图像相似度识别任务中展现优异，并且具有一定的可解释性。