一种基于区域语义信息引导的多模态图像特征匹配的方法

本发明涉及图像处理技术领域，且公开了一种基于区域语义信息引导的多模态图像特征匹配的方法。首先使用特征提取器对图片对进行初步特征提取生成像素描述符，同时初步提取区域语义信息，再通过相似性信息融合和异图像素信息聚合模块对描述符进行信息增强，然后通过区域语义信息增强和语义信息融合模块丰富区域语义信息和描述符信息。最后将生成的特征描述符和区域语义信息送入区域语义引导匹配模块进行特征匹配。该基于区域语义引导的图像匹配多模态图像特征匹配方法能够生成蕴含丰富信息的、鲁棒的、可区分性高的特征描述符，并以其独特的匹配机制产生较好的匹配结果。并在多种多模态数据集上有非常好的泛化性，具有很高的实用价值。