摘要
本发明公开了一种大语言模型训练、推理方法及装置。所述大语言模型训练方法包括:获取训练数据集;其中,所述训练数据集中包含至少两个训练样本数据组,每个所述训练样本数据组由对应的至少两种数据组成;从所述训练数据集中按照预设次序或随机抽取至少一个第一训练样本数据组,并从所述第一训练样本数据组中随机剔除至少部分数据,生成目标训练数据;基于所述训练数据集中的所述训练样本数据组和所述目标训练数据对大语言模型进行模型训练,直至满足预设训练条件,生成目标模型。本方案不仅能够使得大语言模型在面对输入数据存在遗漏或缺失时,依然能够输出正确的推理结果,提高了大语言模型的适用性,而且在正常输入数据时输出结果更为稳定。
技术关键词
训练样本数据
编码向量
大语言模型
推理方法
数据获取模块
音乐
训练装置