摘要
本发明公开了一种文生图模型训练方法、文生图方法和装置,其中文生图模型训练方法包括获取潜在图像和相应的提示词,对潜在图像进行降噪处理获得第一降噪特征图,对第一降噪特征图进行图像恢复处理获得第一待评分图像;对第一待评分图像进行质量评分获得第一质量分数,根据提示词与第一待评分图像确定第一相似度,根据第一质量分数与第一相似度对文生图模型进行训练等步骤。本发明在训练文生图模型的过程中,引入对第一待评分图像进行质量评分得到的第一质量分数,能够引导文生图模型生成具有良好质量水平的图像内容;使用经过文生图模型训练方法训练的文生图模型,可以生成更能满足人类读者的审美需求的图像。本发明广泛应用于文生图技术领域。
技术关键词
模型训练方法
降噪特征
差分编码器
生成特征
模型训练装置
文本编码器
图像编码器
上采样
图像嵌入
深度学习模型训练
噪声信息
噪声预测
审美需求
降噪模块
数据获取模块
传播算法