一种图像文本融合的多模态双分支孪生网络遥感变化检测方法及系统

本发明涉及计算机视觉与人工智能技术领域，具体涉及一种图像文本融合的多模态双分支孪生网络遥感变化检测方法及系统，该方法将文本特征与高层级语义特征图进行交互融合，使文本特征寻找到最相关的视觉线索，将细化后的文本特征经残差连接后更新文本特征；使用更新的文本特征再与高层阶语义特征图进行联合生成更具区分性的高层语义特征图；根据前后时相多层级特征图和更具区分性的高层语义特征图，提取多层级特征之间的差异信息，然后基于U型视觉语言引导的交叉十字型Transformer多模态解码器，获取变化后的图像分割掩码。本发明通过融合遥感图像与关联文本，有效减少单模态数据的误检漏检问题，提高变化区域的识别准确率。