利用局部化约束的文本到图像生成神经网络生成合成数字图像

本公开的实施例涉及利用局部化约束的文本到图像生成神经网络生成合成数字图像。公开了用于经由具有局部化约束的生成式神经网络生成数字图像的方法、系统和非暂态计算机可读存储介质。所公开的系统利用一个或多个编码器神经网络生成嵌入序列，该嵌入序列包括表示文本提示的提示嵌入和表示指示文本提示中的对象的短语的对象文本嵌入。所公开的系统利用一个或多个编码器神经网络生成表示与对象相对应的对象图像的视觉嵌入。所公开的系统通过在嵌入序列中用视觉嵌入替换对象文本嵌入来确定经修改的嵌入序列。所公开的系统还利用生成式神经网络根据包括视觉嵌入的经修改的嵌入序列来生成合成数字图像。