用于少样本缺陷图像生成的扩散模型微调方法和装置

本发明涉及计算机视觉技术领域，提供了一种用于少样本缺陷图像生成的扩散模型微调方法和装置。方法包括：将多个缺陷词元和单个产品词元组合得到不平衡异常文本提示；选取少样本缺陷图像以及缺陷图像掩码作为缺陷图像分支的输入，根据缺陷图像掩码，将缺陷词元对齐到图像中的缺陷区域，优化第一目标函数和第二目标函数；选取固定数量的正常图像作为正常图像样本分支的输入，用不平衡异常文本提示中的与产品相关的部分，优化第三目标函数；混合训练策略用于使不同缺陷类别的缺陷图像共同参与训练。本发明在工业场景中每一缺陷类别的缺陷图像数量较少的情况下，依旧能够实现较理想的训练效果，从而使用训练完成的扩散模型生成缺陷图像。