一种基于扩散模型的图像生成身份个性化方法

本发明提供了一种基于扩散模型的图像生成身份个性化方法，包括：步骤1，构建身份语义解耦训练框架：建立身份增强模型，所述身份增强模型在原始SDXL1.0模型上额外引入了图像交叉注意力模块；步骤2，建立混合注意力融合机制，然后进行混合注意力融合；步骤3，风格生成：在原始SDXL1.0模型的自注意力层中对键、值特征执行混合操作，即一种结合自适应均值归一化与均值对齐的操作，以进一步将合成图像的风格与输入的风格提示对齐。本方案在保持文本语义编辑能力的前提下，突破现有方法在身份一致性保持方面的局限，定制化生成双人图像，而且能够控制生成图像的风格，适用于数字内容创作、虚拟形象生成等需要精准身份控制的场景。