基于高效多传感器融合的语义分割方法、装置、设备及介质

本发明公开的一种基于高效多传感器融合的语义分割方法、装置、设备及介质，包括：采集多模态数据，其中，多模态数据包括RGB图像和点云数据；对多模态数据分别进行预处理；将预处理后的多模态数据输入双网络编码器中，分别提取图像特征以及点云特征；将双网络编码器输出的图像特征与点云特征分别输入到双网络解码器中，分别进行图像特征恢复与点云特征恢复；将解码后的图像特征与点云特征输入到多模态融合模块中，进行多模态数据对齐以及多模态数据融合；将对齐及融合后的多模态特征输入到预测器中进行点云语义分类预测。因此，本发明基于深度学习方法确保多模态融合轻量化的基础上，能够实现更准确的点云语义预测，从而达到高效多传感器融合。