基于单步扩散模型和多模态CFG的图像复原方法及系统

本发明提供了一种基于单步扩散模型和多模态CFG的图像复原方法及系统。其中方法包括：构建基于图向量生成网络的多模态提示生成网络；基于所述多模态提示生成网络，分别提取不同模态提示信息；对所述不同模态提示信息进行融合，生成统一维度的正负提示嵌入；将待处理的图像编码至潜空间向量，并配合所述正负提示嵌入进行CFG双前向推理，得到最终的噪声预测结果；基于单步扩散模型，利用所述最终的噪声预测结果，计算得到最终所需的图像输出。本发明对单步扩散模型提出了一种多模态CFG引导策略，采用三路互补提示，将文本模态与图片模态进行结合提示，能够在各种盲复原/超分场景中取得更优的综合性能。