一种基于多视角的三维模型生成方法及系统

本申请公开了一种基于多视角的三维模型生成方法及系统。方法包含数据处理、模型训练和模型应用。数据处理包括对三维模型进行渲染，生成6个不同角度的RGB图片，并采用随机灯光变量以增加场景多样性，同时渲染对应的深度图和法线图。模型训练包括基于扩散模型架构，增加交叉注意力模块，训练分为两个阶段：第一阶段通过一张图片生成多视角图片；第二阶段利用多视角图片生成神经体渲染模型，重建三维模型。模型应用包括则以物体图片为条件，控制生成对应的三维模型。本申请能够自动调整物体结构，合理搭配场景，满足自动化搭建场景的需求，有效解决了传统三维建模中手动调整复杂、效率低下的问题，具有显著的创新性和实用性。