多层次跨模态协同特征编码器结构

本发明聚焦于多模态图像融合领域，提出一种多层次跨模态协同特征编码器结构。步骤1：将红外数据集与可见光数据集进行尺寸归一化处理；步骤2：将红外图像和可见光图像分别输入到Transformer进行初步融合及提取特征；步骤3：将红外图像和可见光图像输入到CNN网络进行融合及提取特征；步骤4：将两种网络提取出的特征通过CBAM模块进行空间和通道注意力加权后融合。在本发明中，针对多模态特征融合效果不佳的问题，将两种网络分别提取特征后通过CBAM模块进行空间和通道注意力加权，有效保留红外图像在低光、夜间等恶劣情况下的热辐射信息和可见光图像的细节和颜色信息，可用于军事侦察、安防系统、医学诊断等领域。