摘要
本申请涉及一种文生图模型的微调方法、装置、电子设备和存储介质。该方法包括:获取预设图像训练集合,预设图像训练集合包括第一图像及第一图像对应的第一文本;根据预设图像训练集合训练预设文生图模型,预设文生图模型包括文本编码器和扩散生成模型,在第一训练阶段,同时训练文本编码器和扩散生成模型,在第二训练阶段冻结第一阶段训练好的文本编码器,训练扩散生成模型,得到目标文生图模型,目标文生图模型用于根据第一文本输出第一图像;根据用户输入指令获取用户图像文本,基于用户图像文本和目标文生图模型,得到目标图像。本申请提供的方案,增强了图像生成模型的学习能力,减少了在生成图像过程中,训练图像生成模型的过拟合行为。
技术关键词
文本编码器
关键词
微调方法
图像生成模型
图像生成单元
阶段
电子设备
图像生成装置
训练集
指令
处理器
语义规则
艺术家
序列
可读存储介质
绘画
风格