文生图模型训练方法及装置

本公开提供了一种文生图模型训练方法及装置。该方法包括：获取图像数据集，提取图像数据集中各张人物图像的图像描述；利用各张人物图像及其图像描述构建第一训练数据集；从各张人物图像上分割得到各张人物图像的人物面部图像，利用各张人物图像的人物面部图像和图像描述构建第二训练数据集；将第一训练数据集和第二训练数据集按预设比例组合得到第三训练数据集；为U‑Net网络构建多个LoRA分支，得到去噪微调网络，利用CLIP网络中的文本编码器、VAE网络和去噪微调网络构建文生图模型；利用第三训练数据集训练文生图模型，使得文生图模型学习到人物图像和图像描述。采用上述技术手段，解决现有技术中文生图模型生成图像不合预期的问题。