基于扩散模型微调的图案生成方法

本发明的基于扩散模型微调的图案生成方法，包括：数据集构建；构建蜡染风格图案智能生成模型：该生成模型包括边缘检测模型ControlNet、稳定扩散模型，稳定扩散模型包括文本编码器CLIP、扩散模型U‑Net、图像解码器VAE，所述CLIP文本编码器将输入的自然语言转换词向量特征，再将其输入到潜空间内部的U‑Net网络，控制U‑Net网络在低维度中对纯噪声进行迭代去噪生成压缩图像，最后再通过解码器VAE，将压缩图像还原至原始像素图像，实现文本内容控制图像生成；采用LoRA参数高效微调技术，对所述生成模型进行微调训练；蜡染风格图案智能生成。本发明具有能提高生成图像纹理精度、进行个性化风格图像生成的优点。