代码生成模型的训练方法、代码生成方法、装置及电子设备

本发明提供一种代码生成模型的训练方法、代码生成方法、装置及电子设备，其中方法包括：获取第一样本代码数据、第二样本代码数据和预训练模型；基于第一样本代码数据，对设置于预训练模型关键层的参数微调模块进行自回归预训练，得到初始代码生成模型；基于第二样本代码数据，以及第二样本代码数据的标签代码生成结果，对初始代码生成模型的参数微调模块进行训练，得到代码生成模型。此过程参数微调模块通过低秩矩阵分解将预训练模型的部分参数替换为可微调的低秩表示，在保持模型容量的同时减少训练时的计算成本；通过自回归训练，模型能够更好地理解代码的上下文信息，从而更精准地生成符合用户专有代码风格和逻辑的代码，提高代码的可读性。