一种多模态高光谱图像分类方法及系统

本发明公开了一种多模态高光谱图像分类方法及系统，基于3D立方体和原始的中心像素，提取高光谱图像和其他模态图像的空间特征和像素级特征，基于图像块和中心像素，充分挖掘了HSI和其他模态图像的空间光谱特征与独特特征，并在此基础上构建了单一模态令牌和混合模态令牌，以与输入特征矩阵的行数呈线性相关的计算代价自适应地融合多模态特征，减少了信息的丢失，提高了分类效果，同时，生成的令牌不仅包含了各单一模态令牌，也包含了多模态融合令牌，全面地考虑到了各种特征融合情况，最大可能地减少了在特征融合过程中带来的信息丢失。