预训练模型的参数微调方法、装置、设备及介质

公开了一种预训练模型的参数微调方法、装置、设备及介质。参数微调方法基于文本数据集对用于自然语言处理的预训练模型进行参数微调，预训练模型包括具有初始权重矩阵的线性层，所述参数微调方法包括：对线性层施加基于至少一个旋转矩阵的正交变换并根据正交变换获得角度参数矩阵，基于初始权重矩阵和角度参数矩阵来构建正交微调层，将预训练模型中的线性层替换为正交微调层以获得待微调模型；基于文本数据集通过梯度反向传播算法仅更新角度参数矩阵以实现对待微调模型的训练；以及将经训练的待微调模型作为参数微调的结果进行输出。