摘要
本发明提供一种文本生成图像的方法、系统、存储介质和程序产品,方法包括:对给定的待形变图像和给定的训练目标图像进行编码;对给定的文本输入进行编码;利用图像关键点提取方法,获得待形变图像和训练目标图像的图像关键点集合;利用薄板样条差值方法,获得图像关键点的变化方向;将图像关键点的变化方向和文本编码,拼接到待形变图像的编码,进行扩散模型的加噪操作;利用扩散模型的去噪操作,获得去噪后的图片编码;将去噪后的图片编码,利用可训练的解码器进行图像生成;利用生成的图像和给定的训练目标图像组成损失函数,训练解码器网络,获得薄板样条差值引导的文生图模型。本发明能够在保持位置合理性的情况下生成丰富的图像。
技术关键词
文本生成图像
薄板样条
关键点
编码
解码器
差值方法
训练图像模型
图片
多层感知机
预训练模型
计算机程序产品
处理器
计算机系统
网络
矩阵
可读存储介质
多模态