基于双重记忆网络和多视角多模态对齐的少样本高光谱图像分类方法

本发明提供了基于双重记忆网络和多视角多模态对齐的少样本高光谱图像分类方法，包括：将源域和目标域图像通过全连接层映射到相同维度；通过空间支路和光谱支路分别提取空谱信息并融合得到含有空谱信息的嵌入向量；对源域和目标域的每个类别进行不同角度的描述，每个类别形成多个文本描述组成描述集合；将每个类别熵值前K小的参与训练的目标域图像的特征向量存入静态记忆存储器；测试阶段，将每个类别熵值前K小的测试图像特征向量存入动态记忆存储器；对于每个要测试的图像，通过交叉注意力机制读出静态记忆存储器和动态记忆存储器中每个类别的表示特征；通过本发明方法能够更全面地理解和分类测试样本，提高分类的准确性和鲁棒性。