基于视觉转换器和Mamba的双分支遥感图像语义分割方法及装置

本发明属于光学图像成像技术领域，具体涉及一种基于视觉转换器和Mamba的双分支遥感图像语义分割方法及装置。该方法的具体过程为：首先，给定RGB编码的输入图像，图像送至ViT分支和Mamba分支并行处理；其次，ViT分支和Mamba分支通过分层Block结构与下采样的方式分别生成4个特征映射，分别表示为集合S＝{FSi|i＝1,2,3,4}和集合M＝{FMi|i＝1,2,3,4}；再次，使用跨域融合模块将ViT分支和Mamba分支第2、4阶段的不同种特征进行一致性融合，并通过下采样将第2阶段融合特征图添加至第4阶段融合特征图中；最后，利用第4阶段跨域融合后的特征表示作为分割头实现输入图像的语义分割。