一种基于扩散模型的定制化图像方法

本发明公开一种基于扩散模型的定制化图像方法，引入图像编码器模块，注入图像先验信息，不仅能够提升生成图像中物体与参考物体的一致性，而且需要优化模型参数以及计算成本很少，降低时间和算例成本。采用一种轻量化的身份一致性网络对参考物体进行特征提取，降低模型所需优化的参数量。利用掩码衰减的损失保证一致性的同时，减少背景信息的干扰。为提升文本对参考物体的可编辑性，引入文本先验和文本保护机制，利用未加入标识向量的文本作为学习目标，减小除标识向量之外的其余向量之间的差距，采用向量正交分解的方式进行文本保护。本发明的方法能更广泛地应用于实际场景中，参考物体的身份一致性较高，同时对于参考物体的属性，可编辑性较高。