使用机器学习模型确定用于合成数据生成的照明和合成参数

本公开涉及使用机器学习模型确定用于合成数据生成的照明和合成参数。本文提出的方法用于确定图像中表示的场景的真实照明参数。真实照明参数可以允许将一个或更多个虚拟对象插入场景图像中，其中应用于虚拟对象的照明或阴影可以与场景中其他对象的照明或阴影一致。机器学习模型(例如鉴别器或扩散模型)可用于分析由差分渲染器生成的组合图像，例如，其中至少一个虚拟对象已插入场景图像中并根据照明参数集应用照明效果。可以基于该机器学习模型的结果确定损失值，该损失值可用于优化照明参数和/或调整用于生成照明参数的模型的权重或参数。一旦微调或优化，照明参数就可以表示可用于生成组合图像的场景或环境的精确光图。