CNN结合Transformer的HSI和LiDAR多模态数据的精细地物分类方法

本发明CNN结合Transformer的HSI和LiDAR多模态数据的精细地物分类方法属于图像分类技术领域。首先，输入待分类的高光谱图像(HSI)和激光雷达(LiDAR)数据，形成训练集、验证集和测试集；采用主成分分析法降低HSI训练集的光谱维数，然后输入由卷积神经网络(CNN)和Transformer并联构成的特征提取模块，再通过特征交互模块实现局部特征与全局信息之间的交互；将LiDAR训练集输入卷积神经网络提取特征，并与HSI支路提取的特征实现特征对齐；将HSI和LiDAR双支路的对齐特征进行拼接，输入跨通道重构机制中实现多模态数据特征的高效融合；通过优化总体损失函数更新网络参数，再将双支路交叉融合之后的特征输入softmax分类器进行分类；将测试数据输入到训练好的网络模型，使用softmax分类器进行分类，得到HSI和LiDAR多模态数据的协同分类结果；本发明利用CNN强大的局部特征提取能力与Transformer的全局特征提取能力，通过特征交互模块与跨通道重构机制实现更优异的地物精细分类的效果。