一种基于SwinTransformer的多模态图像融合方法

本发明公开一种基于Swi nTransformer的多模态图像融合的方法，包括以下步骤：准备训练数据集，对数据集进行划分，划分为训练集、验证集和测试集并且进行预处理；构建包括两个编码器、一个融合模块和一个解码器的网络模型；利用准备好的高曝光和多焦点训练数据集对网络模型进行第一阶段的训练，直至达到预设阈值；使用红外和可见光数据集对网络模型进行再次训练微调，获得最终模型；将获得最终模型的参数进行固化，保存模型。本发明设计新型的神经网络框架，解决了现有的图像融合模型主要集中于解决单一任务的融合问题，忽略了多任务融合中信息互补的潜在可能性，该模型不仅促进了多个融合任务的协同训练，还在不同融合任务的数据集之间学习了有效的信息互补。