摘要
本发明公开了一种大语言模型编码训练方法及装置。方法包括:获取训练数据集;其中,训练数据集中包含至少两个训练样本数据组;针对每个训练样本数据组中的至少一种训练数据,确定训练数据的第一层目标编码;将第一层目标编码作为当前层目标编码,确定当前层目标编码的当前层编码偏差,并基于当前层编码偏差确定下一层目标编码;将下一层目标编码更新为当前层目标编码,并返回执行确定当前层目标编码的当前层编码偏差,确定出第N层目标编码;基于N层目标编码对大语言模型进行训练,生成目标模型。本方案通过将训练样本数据组中的至少一种训练数据编码为多层目标编码,可以提供更加丰富的数据信息,提高了训练后的大语言模型输出数据的质量。
技术关键词
训练样本数据
大语言模型
偏差
音乐
编码策略
数据编码
训练装置
模块