基于预训练扩散模型的多粒度提示金属表面缺陷图像合成方法

本发明公开一种基于预训练扩散模型的金属表面缺陷图像可控合成方法，属于金属表面缺陷数据增强技术领域，是一种针对现有缺陷数据不足、标注成本高问题的一种多粒度提示生成方案。本发明方法包括：对金属表面缺陷图像进行多精度标注，构建多粒度训练集；基于预训练Stable Diffusion模型，设计精度编码掩膜金字塔，通过多级下采样生成分层控制信号，结合CLIP语义编码融合类别与位置信息，分层注入去噪UNet以控制缺陷生成；采用迁移学习策略冻结VAE与CLIP模块，仅微调去噪网络及掩膜编码层；用户通过粗粒度掩膜与类别提示生成多样缺陷图像。该方法突破传统生成模型对精细标注的依赖，实现缺陷位置、形状及类别的灵活控制，提升检测系统的泛化能力。