基于预训练模型LoRA权重生成的个性化人脸图像生成方法

本发明公开了一种基于预训练模型LoRA权重生成的个性化人脸图像生成方法，首先根据实际需要获取训练样本集，每个训练样本包括人脸参考图像和对应的LoRA权重向量，构建并训练构建LoRA权重自编码器和训练扩散模型，然后将训练好的LoRA权重自编码器中的解码器和扩散模型构成LoRA权重生成模型，当需要生成个性化人脸图像时，采用LoRA权重生成模型生成LoRA权重向量，从中提取低秩分解矩阵并计算得到权重更新矩阵，对预训练的文生图模型的权重矩阵进行更新并根据文本提示生成个性化人脸图像。本发明通过预先构建LoRA权重生成模型，在个性化人脸图像生成过程中直接生成LoRA权重，实现了无需微调的高效个性化图像生成，有效提升了生成速度和图像质量。