一种基于扩散模型的布局可控图像个性化生成方法

本发明公开了一种基于扩散模型的布局可控图像个性化生成方法，包括：1、获取视频和图像数据以及对应的文本描述、掩码和边界框标注；2、构建扩散模型适配器，嵌入参考主体特征、边界框和文本描述；3、对构建的扩散模型适配器进行离线训练；4、利用训练好的模型进行生成，以实现对给定图像主体进行主体驱动的定制化生成的目标。本发明通过利用轻量适配器引入位置信息和参考主体特征的方式，实现了任意位置生成任意参考物体的能力，提升了主体特征保持能力和位置可控性，从而允许用户自主生成高度定制的图像。