一种三维重建与语义分割及深度估计联合处理方法与设备

本发明公开了一种三维重建与语义分割及深度估计联合处理方法与设备。本发明首先利用正弦光栅条纹图像对物体进行调制，通过拍摄获取变形条纹图像，包含物体的几何和条纹编码信息。接着，构建语义分割网络对条纹图像进行像素级分类，识别不同区域并生成包裹相位图；同时构建深度估计网络预测深度图。随后，结合相机和投影仪参数将深度图转化为三维点云，并逆向解出粗糙的解包裹相位。通过比较粗糙解包裹相位与语义分割网络预测的包裹相位，得到条纹阶次图，从而获取精确的解包裹相位。最终，再次利用参数将解包裹相位转化为三维点云，实现被测物体的精确三维重建。本发明结合结构光技术、语义分割和深度估计，提高了三维重建的精度和效率。