摘要
本发明提供一种基于正则化约束防止灾难性遗忘的小样本微调方法。通过小样本数据对基础Stable Diffusion模型进行标准LoRA训练,获得初步定制化模型;在继续训练过程中,融合小样本数据与辅助数据,训练时在损失函数中引入防止灾难性遗忘正则化损失项,该正则化损失项通过约束当前模型输出与前一阶段模型输出的一致性,减少模型在新样本学习过程中对已学习特征的破坏,从而提升模型在目标风格下的泛化能力与稳定性。该方法兼顾模型对新样本快速适应与原有能力保留,避免风格漂移、细节缺失等问题。
技术关键词
微调方法
输出特征
图像重建
样本
适配器
联合损失函数
生成图像数据
基础
注意力
矩阵
预训练模型
学习特征
训练集
参数
图像库
风格
文本
解码器