摘要
本申请实施例提供一种三维模型重建与图像生成方法、设备、存储介质及程序产品。在该方法中,基于目标对象的单张图像进行多阶段的三维重建,在第一阶段中,基于图像生成模型进行多个视角图像的生成,并基于多个视角图像进行初始三维模型的重建;在第二阶段中,基于多个视角图像和包含设定标记信息的初始提示词利用文生图模型学习目标对象与设定标记信息之间的关联关系,并在此基础上进行多个场景图像的生成,相对于多个视角图像,第二阶段生成的场景图像的分辨率更高、图像细节更加丰富,进而基于多个场景图像对初始三维模型进行优化,可得到分辨率更高、模型细节更清晰的目标三维模型,为基于单张图像的三维重建方案的落地应用提供了条件。
技术关键词
图像生成模型
视角
对象
语义向量
样本
噪声预测模型
图像修复模型
场景
图像生成方法
图像解码器
标记
文本编码器
图像编码器
三维模型重建方法
图像块
信息编码器