多层次注意力的可见光引导红外图像超分辨率方法和系统

本发明公开了一种基于多层次注意力的可见光引导红外图像超分辨率方法和系统，属于图像处理和深度学习领域。分别提取原始低分辨率红外图像和高分辨率可见光图像的多尺度第一特征和多尺度第二特征；采用跨模态特征融合模块对每一对相同尺度的第一特征和第二特征进行双向引导，生成多尺度融合特征；对多尺度融合特征按照尺度从小到大的顺序依次解码重建，得到高分辨率热红外图像。本发明多层次的跨模态特征融合模块采用串联式三网络结构，通过移动窗口自注意力块和交叉注意力块的协同作用实现双向引导，增强了模态间深层信息的交互与融合。本发明的超分辨率重建性能均优于现有方法，在SSIM、PSNR等指标上具有明显提升。