大语言模型的训练方法、装置、设备以及介质

AITNT
正文
推荐专利
大语言模型的训练方法、装置、设备以及介质
申请号:CN202411925361
申请日期:2024-12-25
公开号:CN119783668A
公开日期:2025-04-08
类型:发明专利
摘要
本说明书实施例提供大语言模型的训练方法、装置、设备、计算机可读存储介质以及计算机程序产品,训练方法包括:将文本语料输入大语言模型,得到大语言模型输出的,用于反映大语言模型预测得到的各个文本单元出现的概率的预测特征向量;然后,计算预测特征向量与用于反映各个文本单元在文本语料中的实际出现概率的标签特征向量之间的第一损失值;再然后,计算预测特征向量与用于反映各个文本单元的指定出现概率的参考特征向量之间的第二损失值;最后,基于所述第一损失值和所述第二损失值,训练所述大语言模型,可以保证大语言模型输出的结果与文本语料中的文本的一致性的同时,提高大语言模型输出的多样性。
技术关键词
大语言模型 标签文本 计算机可执行指令 计算机程序产品 处理器 可读存储介质 训练装置 输入模块 存储器
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号