利用彩色和深度图多模态融合的室内语义分割方法及设备

本发明提供一种利用彩色和深度图多模态融合的室内语义分割方法及设备，使用深度相机，对室内场景进行图像采集，获取相应的彩色与深度图像，并进行配准与预处理；所述深度图像采用HHA图像；构建图像中的像素级别语义信息标注，建立并划分测试数据集和训练数据集；搭建用于融合多模态数据的图像语义分割深度学习模型，从彩色图像和HHA图像中提取特征；图像语义分割深度学习模型的网络结构中，通过编码模块对彩色图像和HHA图像这两种模态进行逐层编码，经过多层编码后，融合的特征合并，接着通过解码模块逐层解码，最终生成语义分割结果；训练用于融合多模态数据的图像语义分割深度学习模型，基于训练完成的模型取得图像像素级别语义自动化分割结果。