一种端对端的跨模态变化检测系统

本发明涉及一种端对端的跨模态变化检测系统，解决仅使用历史土地利用分类数据与当期遥感影像的土地变更调查的变化检测问题。提出了一种名为跨模态补丁对齐网络的新型深度学习模型，该模型弥合了地图和图像之间用于跨模态变化检测的不同模态之间的差距，使用经过1.8百万遥感图像微调的视觉变换器作为图像的编码器，以及可训练的ViTs作为地图的编码器。为了弥合这些编码器之间的分布差异，引入了一个特征域适应模块图像‑地图对齐模块，以实现预训练模型知识的快速转移和共享。整合了跨模态和跨通道注意力模块以及变换器块注意力模块，以促进不同模态间特征的交互和融合。融合后的特征随后通过基于UperNet的特征金字塔处理，以生成像素级变化图。