一种基于语义信息融合的多视图室内深度估计方法和系统

本发明属于机器人视觉深度估计领域，涉及一种基于语义信息融合的多视图室内深度估计方法和系统。该方法包括：采用预训练好的卷积神经网络预测输入图像中每个像素的深度，将其逐像素高斯参数化，并提取单目深度特征；采用空间金字塔网络提取各层次的图像特征，形成特征金字塔，并通过点积操作计算相似度，得到初始代价体；利用预训练好的语义特征提取网络提取图像的单目语义特征；将单目语义特征、单目深度特征和初始代价体结合形成最终代价体，输入三元组注意力加强的深度更新模块，迭代更新深度，得到深度估计结果。本发明能够解决室内场景中多视角深度估计存在的匹配失败，多视角信息利用不充分等问题。