一种基于稳定扩散模型的草图引导图像生成方法及系统

本发明提出了一种基于稳定扩散模型的草图引导图像生成方法及系统，属于图像处理技术领域，包括：获取草图数据及文本数据；将所述草图数据及文本数据输入构建的多模态条件输入模块，所述多模态条件输入模块包括边缘特征提取模块、文本编码器，所述边缘特征提取模块提取所述草图数据的边缘结构特征，所述文本编码器提取所述文本数据的文本特征生成语义特征向量，得到多模态特征；基于预训练的稳定扩散模型将所述多模态特征通过扩散过程生成清晰图像。本发明生成的图像在结构上符合要求，能够有效缓解生成图像局部扭曲问题。