一种基于扩散模型的图像生成方法、系统及存储介质

一种基于扩散模型的图像生成方法、系统及存储介质，包括获取原始图像并进行预处理，得到人脸图像、眼睛区域掩膜、去除眼睛区域掩膜的人脸图像和仅保留眼睛区域的参考图；对人脸图像、去除眼睛区域掩膜的人脸图像和眼睛区域掩膜进行编码处理后输入Unet模型；获取文本提示词并进行编码处理，得到文本特征向量；对参考图进行编码处理与特征映射处理后，得到图像特征向量；将文本特征向量与图像特征向量通过交叉注意力机制输入Unet模型；获取睁眼程度调节参数，通过预训练的LoRA权重对Unet模型的输出进行调节；对Unet模型输出的潜变量进行解码，得到睁眼图像；将睁眼图像与原始图像的对应区域进行拼接和融合，得到图像生成结果。