一种数据合成的方法及基于合成数据进行单目三维重建的训练方法

本发明涉及三维重建技术领域，提供一种数据合成的方法及基于合成数据进行单目三维重建的训练方法，第一步，将一张含有特定物体的图片渲染成多张对应该物体在不同角度的图片I；第二步，基于图片I，得到该物体的遮罩m，其中；第三步，利用遮罩m和额外输入的文本描述，引导图片生成模型利用图片I生成符合文本描述且保留特定物体结构信息的新图片。本发明通过不同视点、风格和背景条件生成的大量3D模型和图片对，提供了丰富的训练数据集，这种多样性可以显著提高单目三维重建模型的泛化能力。通过在多个视点(R,T)的一定角度范围内随机施加扰动，提升了模型对不同相机位姿的适应能力，增强了单目三维重建的鲁棒性。