一种图神经网络与Mamba模型结合的U型多模态融合分割方法

本发明提出一种图神经网络与Mamba模型结合的U型多模态融合分割方法，属于遥感图像多模态融合分割领域。首先，获取并标记遥感图像集，并将它们切分为训练集、验证集。然后，构建多模态融合分割网络，主体架构包括编码器、融合层、解码器和分割头。再者，进行类别平衡与增强，然后在多模态融合分割网络中进行训练。最后，将遥感图像全集分割并输入到网络中，得到语义分割结果。详细过程包括各种特征表示和融合模块的构建。构建网络的编码和解码部分用的是Mamba‑Graph结合的方式。本发明考虑了不同模态的特点，充分利用模态间的互补性，建立跨模态之间的长距离依赖。缓解由于模态间的不兼容性而导致的较差特征表示。