基于多模态特征融合的语义分割方法、设备及介质

本发明公开了一种基于多模态特征融合的语义分割方法、设备及介质，涉及图像语义分割技术领域，所述方法包括：将待测3D点云图像输入预先构建好的多模态特征融合模型，以生成语义分割结果；多模态特征融合模型的构建步骤包括：根据2D图像生成2D图像特征；根据3D点云图像生成3D点云特征；将2D图像特征及3D点云特征的尺寸分别进行变形处理；将3D点云图像进行球状投影及特征后处理以生成球状2D特征；将球状2D特征分别与变形后的2D图像特征及3D点云特征进行融合以生成2D融合特征及3D融合特征；根据2D融合特征生成2D图像预测结果并计算2D交叉熵损失；根据3D融合特征生成3D点云预测结果并计算3D交叉熵损失；对齐2D图像预测结果及3D点云预测结果以计算预测损失，对齐变形后的2D图像特征及3D点云特征以计算特征损失；计算基准损失；根据基准损失调整Poi nt Transformer V2模型以形成多模态特征融合模型。采用本发明，可提高农业机器人在复杂场景下的语义理解性能。