摘要
一种图像生成模型及其训练和图像生成方法,所述图像生成模型包括:文本编码器,用于将输入的图像文本对中的文本编码为文本特征;图像编码器,用于将所述图像文本对中的图像编码为图像特征;掩码模块,用于对所述图像编码器输出的图像特征进行随机掩盖;特征提取模块,包括压缩模块、解压模块和transformer模块,所述压缩模块用于对所述掩码模块输出的图像特征进行特征压缩,所述transformer模块用于对所述文本特征和压缩后的图像特征进行空间信息编码,并对编码后的文本特征和图像特征进行融合后输出,所述解压模块用于对所述transformer模块输出的特征进行特征解压;以及图像解码器,用于基于所述解压模块输出的特征生成输出图像。
技术关键词
图像生成模型
图像编码器
文本编码器
图像解码器
生成输出图像
图像生成方法
特征提取模块
样本
注意力
多模态
本子
处理器
输出特征
融合特征
分辨率