跨模态图像融合的高光谱点云废旧塑料瓶智能分拣方法

本发明公开了跨模态图像融合的高光谱点云废旧塑料瓶智能分拣方法，涉及基于神经网络的数据处理技术领域，本发明利用多模态采集系统获取目标物体的高光谱图像数据和点云数据；对采集到的高光谱图像数据和点云数据进行预处理，分别提取特征并构建高光谱图和点云图；以构建的高光谱图和点云图为基准，通过节点与边构建邻接矩阵，并进行归一化；对归一化的邻接矩阵进行单模态特征提取；对提取的单模态特征进行跨模态融合；通过多头注意力机制对跨模态融合结果进行细粒度建模，生成最终融合特征；将所述最终融合特征映射到回归任务的输出空间，对网络参数进行训练，得到跨模态融合模型实现目标物体的识别。