面向特定场景文本生成图像模型的参数高效微调方法

本发明公开了一种面向特定场景文本生成图像模型的参数高效微调方法，包括以下步骤：S1.权重冻结：预训练模型的权重冻结，得到冻结权重；S2.权重分解：将冻结权重分解，解耦为幅度向量和方向矩阵；S3.模型权重更新：对权重进行多维度调整，并在调整过程中添加正则项指导参数更新，得到更新的权重；S4.权重合并：将步骤S1中的冻结权重与步骤S3中的更新的权重进行合并；S5.引入特征缩放因子：在生成任务应用过程中，通过调制因子作用在预训练模型的Unet网络中提高生成图像的质量。本发明能够提高模型训练的稳定性、参数调整的灵活性和推理效率，缓解语言漂移和过拟合的影响，具有高保真图像特性和强大的泛化能力。