摘要
本发明公开了一种模型训练方法及装置。方法包括:获取训练数据集;其中,训练数据集中的每个训练样本数据组包括拟合数据和非拟合数据;将非拟合数据的输入编码及拟合数据的第一层目标编码输入大语言模型,确定大语言模型的第一输出编码;基于之前输入的所有编码及输入的拟合数据的第二层目标编码,确定大语言模型的第二输出编码;直至基于大语言模型的之前输入的所有编码及输入的拟合数据的第N层目标编码,确定大语言模型的第N输出编码;基于拟合数据的至少一个N层目标编码及对应数量的输出编码,对大语言模型进行迭代优化,生成目标模型。本方案可以降低模型训练难度,提高模型输出的整体性。
技术关键词
大语言模型
训练样本数据
模型训练方法
偏差
模型训练装置
编码策略
模块