一种跨模态多信息融合分类网络、系统、介质及设备

本发明提供了一种跨模态多信息融合分类网络、设备以及可读存储介质，包括：双分支CNN网络，用于将HSI和LiDAR两种模态数据对应的斑块图像作为输入，分别提取两种斑块的特征，输出高光谱数据特征fh和激光雷达数据特征fl；两个双分支跨模态注意融合模块，用于通过双层CMAFT网络收集全局上下文，从高光谱数据特征fh提取并输出第一融合特征和从激光雷达数据特征fl并输出第二融合特征自适应掩模调制模块，用于将第一融合特征和第二融合特征作为输入，并根据两种模态特征的不平衡率自适应调节两种模态数据的学习率，并重新输出HSI数据对应的第一调制特征和LiDAR数据对应第二调制特征语义引导特征融合模块，基于自注意力机制根据HSI数据对应的第一调制特征和LiDAR数据对应第二调制特征进行特征融合，输出多模态特征F；全连接层网络，用于将融合后的多模态特征F作为输入，输出最终的分类结果。以解决如何减小多模态数据的相似性交互过程中，导致模态特有信息损失，以及不同模态特征提取不充分的技术问题。