基于视觉语言模型的交互式图像合成方法

本发明提供了基于视觉语言模型的交互式图像合成方法，S1、输入四张图片，前景图和背景图If、Ib,以及前景图的分割图Mseg和表示合成位置的图首先在位置Mp用If的像素进行Ib的逐元素替换，以获取参考图像Iref，S2、参考批次的zbt,zft，是从初始噪声zbT,zfT中逐步去噪的隐变量；输出批次的zoutt，是从初始噪声zrefT中去噪的。本发明构建了一种无需训练的控制框架，能够合成输入的前景与背景，并明确地对前景与背景之间的物理交互进行建模，同时确保两者在外观上的一致性。该框架即插即用，无需任何额外的训练。本发明扩展了视觉语言模型，并结合了链式推理，引入了新的交互概念。这些概念在去噪步骤中得到强化，从而改善了生成结果的对齐性，同时保持了分布的平滑性。