基于轻量级卷积网络的多模态影像实时匹配系统及方法

本发明公开了一种基于轻量级卷积网络的多模态影像实时匹配系统，包括：特征提取模块、粗匹配模块、特征融合与窗口提取模块和精匹配模块；特征提取模块连接粗匹配模块，粗匹配模块连接特征融合与窗口提取模块，特征融合与窗口提取模块连接精匹配模块；方法包括以下步骤：步骤S1：通过一种可重参数化的轻量化卷积神经网络进行特征提取，得到不同尺度的特征图；步骤S2：在粗级特征图上进行粗匹配，得到粗匹配点；步骤S3：将多尺度特征图进行融合，将粗匹配点位置映射到融合特征图上作为关键点，并在关键点周围取窗口；步骤S4：基于提取的窗口进行精匹配；本发明解决了跨模态场景下的匹配精度与速度问题。