一种基于单条件生成模型的多条件生成方法

扩散模型是最近兴起的一种强大的生成工具。尽管取得了很大的进展，但现有的扩散模型主要集中在单模态控制上，即扩散过程仅由一种条件模态驱动。为了进一步释放用户的创造力，希望模型能够同时被多种方式控制。在这项工作中，我们提出了多条件融合适配器一个轻量级的模块，利用预训练的扩散模型和其插件实现多条件的生成与控制。我们的见解是，由不同条件驱动的适配器具有内在的互补性，通过这种特性建立不同适配器的连接。通过预测每个预训练的单模态适配器的时空影响函数，自适应地生成多模态去噪步骤。本发明解决了利用多个单模态适配器进行多模态图像生成效果较差的技术问题。