基于图像-文本多模态特征融合的遥感图像语义分割方法

本发明涉及一种基于图像‑文本多模态特征融合的遥感图像语义分割方法，属于图像处理技术领域。先根据数据集地物类别名称构建文本提示，经过文本编码器获得文本特征，在训练阶段加上标签文件的文本提示；将遥感图像经过图像编码器获得图像特征和表示全局图像语义信息的向量；再将文本特征、图像特征和表示全局图像语义信息的向量经过TIFF模块实现文本‑图像特征之间的交互与融合；将融合特征输入分割头，得到最后的分割图，通过计算损失函数来优化训练上述分割模型。本发明显著提升了遥感图像语义分割的精度和鲁棒性，具有广泛的应用潜力。