一种基于多模态的无监督域适应高光谱图像分类方法

本发明提供一种基于多模态的无监督域适应高光谱图像分类方法及系统。本发明方法，包括：通过图像编码器提取全局特征，使用双分类器对图像样本进行分类，对齐源域与目标域同类的分布，并为目标域生成伪标签；通过文本编码器提取文本特征，将文本特征和图像特征进行对比学习，拉近同类别的文本、图像特征间的距离，提升数据的可分离性。本发明系统，包括域适应模块和视觉‑语言对齐模块，其中：域适应模块由图像编码器得到图像特征，由双分类器得到预测结果，并选择其中一个预测结果作为目标域伪标签；视觉‑语言对齐模块利用源域标签和目标域伪标签得到相应文本描述，在由文本编码器得到文本特征后，文本特征与域适应部分得到的图像特征进行对齐。