一种适用于复杂气象环境的红外与可见光图像融合方法

本发明提出了一种适用于复杂气象环境的红外与可见光图像融合方法，基于卷积神经网络与混合专家机制MoE构建多模态图像融合系统。系统包含并行双分支特征提取、退化修复SDMR、混合专家网络、残差连接和三分支重构模块。红外与可见光图像分别输入双分支模块进行多尺度特征提取，利用SDMR模块对可见光图像进行去雾、低照度增强和去雨雪处理。处理后的特征通过各专家网络实现动态融合，再经多模态残差连接增强跨模态交互，最终三分支重构模块输出重构红外、可见光及融合图像。本方法在混合专家机制中引入门控网络与专家网络动态分配机制，提升了融合图像的热辐射保真度和纹理细节质量，有效解决了复杂气象下融合质量低、噪声多、细节丢失等问题。