摘要
本发明公开了一种基于扩散模型和神经辐射场的单目图像三维模型重建方法,包括:步骤S1,构建Zero‑1‑to‑3扩散模型网络;步骤S2,构建神经辐射场网络;步骤S3,构建二维神经渲染模块网络;步骤S4,使用预训练的Zero‑1‑to‑3扩散模型,将单目图像作为输入,经过扩散模型得到多张不同角度下的图像;步骤S5,训练神经辐射场网络,用反向传播和优化最小化损失,通过体渲染得到重建结果;步骤S6,采用二维神经渲染模块网络将重建得到的图像由低分辨率图像渲染为高分辨率的图像;步骤S7,将渲染后的多视图图像重新作为神经辐射场网络的输入并得到最后的重建结果。本发明可以有效的解决对单目图像做三维重建的技术问题,并保障重建质量的同时做进一步重建质量上的提升。
技术关键词
图像三维模型
颜色
上采样
双线性
滑动滤波器
密度
场景
射线
渲染算法
模块
相机旋转
多层感知机
神经网络模型
噪声图像
运动包
像素
参数