摘要
本发明公开了一种基于预训练扩散模型的通用零样本图像合成方法,包括:将前景图片及物体掩码缩放到无前景的背景图片的区域掩码大小,并通过对两个掩码取交集进行新前景物体的拼贴,得到拼贴图像及新物体掩码;如果用户未提供额外前景物体变化条件,通过图像和谐化流水线,利用拼贴图像及新物体掩码进行拼贴图像和谐化处理,最终得到高质量的自然图像;如果用户提供了额外前景物体变化条件,将用户提供的额外前景物体变化条件作为目标条件,通过语义图像合成流水线,利用拼贴图像、新物体掩码及额外前景物体变化条件,引导拼贴图像向指定目标条件变化,并同时使全图更加和谐,最终得到高质量的符合目标条件的图像。
技术关键词
图像
噪声预测
物体
流水线
注意力
语义
感知损失函数
样本
随机噪声
解码器
键值
编码器
文本
长度尺寸
对象
图片
适配器
模块
参数