基于模态平衡知识蒸馏框架的遥感图像分割方法及系统

本发明提供一种基于模态平衡知识蒸馏框架的遥感图像分割方法及系统，针对光学、SAR影像跨模态迁移分割任务，借鉴域适应和知识蒸馏方法，创新性地提出了由双模态监督学习、混合模态虚拟学习和双模态知识推理3个部分组成的模态平衡知识蒸馏框架。该框架创新性地通过建立虚拟模态将跨模态问题转变为同模态知识迁移问题。在模态平衡知识蒸馏中，源域和目标域被分别转变为与目标域和源域相近的虚拟模态表示。本发明旨在消除跨模态迁移任务中模态不平衡造成的迁移方向失准问题，以一种更具亲和力的方式实现对不同模态平衡的学习能力。