一种基于偏振三维感知的RGB与偏振图像融合语义分割方法和系统

本发明提出了一种基于偏振三维感知的RGB与偏振图像融合语义分割方法和系统，属于计算机视觉与深度学习技术领域。该方法首先确定了偏振三维特征在深度学习方法中的表征形式，并采用两阶段的训练方式来增强网络对偏振三维特征的感知能力。为了融合不同模态的特征，提出了一个多分支的全局特征统一化融合网络。该网络通过独立训练偏振3D‑P分支，并在语义分割过程中冻结其参数的方式，确保了偏振三维特征的稳健提取。针对偏振二维和三维特征与RGB特征的融合，进一步构建了全局特征统一化模块和多模态特征融合模块，分别用于特征的统一化校正和高效融合。实验结果表明，本发明方法在多个复杂场景下的语义分割任务中表现优异。