基于模态注入的图像生成方法、装置、设备及介质

本发明涉及金融、医疗健康及人工智能技术领域，提供一种基于模态注入的图像生成方法、装置、设备及介质，能够将目标模态标识输入至门控函数得到目标路由信息，并根据目标路由信息从预先构建的多模态条件模块库中匹配目标多模态条件模块，从而结合门控函数快速检索到与目标模态标识相匹配的目标多模态条件模块，实现多模态的灵活控制；将目标多模态条件模块嵌入至预训练的扩散模型得到目标模型，及将初始图像输入至目标模型进行图像生成处理得到目标图像，由于多模态条件模块具有轻量级、即插即用的属性，因此能够在不改变原始扩散模型的前提下实现多模态条件注入控制的图像生成，不仅提升了模型的迁移能力，且降低了图像生成成本。