一种基于多模态融合的语义占用预测方法

本发明涉及一种基于多模态融合的语义占用预测方法，属于雷达点云语义占用预测领域。所述方法，包括：为每个点云生成伪标签并合并到原始点云数据，进行特征提取，获得点云特征；将点云数据体素化，生成占用网格特征，根据占用情况得到体素特征；对图像数据进行特征提取，得到图像特征；将点云特征、体素特征和图像特征初步融合，生成融合后的占用网格特征和图像特征，进一步生成雷达占用网格特征和粗略占用网格预测；将粗略占用网格预测与图像特征进行融合，得到图像占用网格特征；将雷达占用网格特征与图像占用网格特征深度融合生成多模态占用网格特征；对多模态占用网格特征进行上采样，提取体素特征，通过解码器最终生成高精度的占用网格预测。