一种用于SAR与可见光图像特征增强的多模态融合方法

本发明提供一种用于SAR与可见光图像特征增强的多模态融合方法，将原始的SAR图像与可见光图像输入多模态共享特征编码器，提取分别对应的跨模态的浅层特征，输入改进的双分支独立编码器的对应分支，获取对应的单模态低频基本特征，再提取对应的高频细节特征，将对应的低频基本特征和高频细节特征分别组合后输入解码器，重建图像并分别计算损失，训练编码器和解码器；输入成对的SAR图像与可见光图像，提取当前的基本特征和高频细节特征后输入特征融合层，将融合后的基本特征和高频细节特征输入解码器，训练并用于生成融合图像。本发明提升融合图像的分辨率和细节精度，适应复杂环境下的实时应用，适用于遥感应用场景，高效、可靠。