一种基于掩码对比学习的多模态协同地物分类方法及系统

本发明公开了一种基于掩码对比学习的多模态协同地物分类方法及系统，属于遥感图像分类技术领域。方法包括：获取高光谱数据和激光雷达点云数据，基于上述数据得到高光谱图像块以及LiDAR图像块；对其进行特征提取，得到高光谱图像特征块和LiDAR图像特征块；对其进行融合处理，得到高光谱图像特征和LiDAR图像特征以及第一跨模态注意力图和第二跨模态注意力图；基于上述数据得到第一掩码融合特征和第二掩码融合特征；基于高光谱图像特征和LiDAR图像特征以及第一掩码融合特征和第二掩码融合特征计算对比损失，并更新模型参数；基于参数更新后的模型对待分类地物多模态数据进行分类。本发明提高了跨模态学习任务的精度和稳定性。