大语言模型的训练方法、装置、设备及介质

AITNT
正文
推荐专利
大语言模型的训练方法、装置、设备及介质
申请号:CN202510211247
申请日期:2025-02-25
公开号:CN120124777A
公开日期:2025-06-10
类型:发明专利
摘要
本公开涉及一种大语言模型的训练方法、装置、设备及介质,其中,方法包括:响应于外部数据源的信息更新,通过所述外部数据源获取更新样本数据集;所述更新样本数据集包括更新样本语料和所述更新样本语料对应的标注文本;将所述更新样本语料输入大语言模型,得到所述更新样本语料对应的生成文本;根据所述标注文本和所述生成文本计算第一损失;根据所述更新样本语料在预训练的目标模型下的第一预测输出,以及在所述大语言模型下的第二预测输出,计算第二损失;根据所述第一损失和所述第二损失确定目标损失,基于所述目标损失训练所述大语言模型。根据本公开的技术方案,提高了大语言模型的推理准确性,减少了计算资源的消耗。
技术关键词
大语言模型 样本 文本 更新时间戳 信息更新 数据处理方法 处理器 语义 训练装置 模块 可读存储介质 指令 存储器 电子设备 计算机 因子 关系
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号