摘要
本申请公开一种大语言模型训练方法、装置、设备以及存储介质,涉及人工智能技术领域,该方法包括:将查询语句输入到大语言模型中得到大语言模型生成的回复语句;基于回复语句,确定第一损失值和第二损失值;其中,第一损失值用于衡量回复语句的安全程度;第二损失值用于衡量回复语句的词汇丰富程度;基于第一损失值和第二损失值,更新大语言模型的模型参数。该方法通过依据第一损失值和第二损失值更新大语言模型的模型参数,能够实现大语言模型在回复语句在安全性和丰富性上的平衡,在确保模型回复语句安全性的前提下,提升模型回复语句的词汇丰富性。
技术关键词
大语言模型
语句
信息熵
电子设备
序列
频率
可读存储介质
人工智能技术
指令
计算机程序产品
参数
注意力机制
训练装置
处理器
模块
存储器
软件
线性