用于训练语言模型的方法、装置、设备和介质

提供了用于训练语言模型的方法、装置、设备和介质。在一种方法中，接收多个训练样本，多个训练样本中的训练样本包括参考提示词和参考应答，参考提示词包括虚词和实词，并且参考应答包括虚词和实词。获取第一语言模型，第一语言模型描述提示词和针对提示词的应答之间的关联关系，第一语言模型包括多个节点。在预训练阶段中，基于多个训练样本更新第一语言模型的多个节点的多个参数以获得第二语言模型。在更新过程中，基于多个训练样本，更新多个节点中的对应于虚词的第一组节点的第一组参数。基于多个训练样本，更新多个节点中的对应于实词的第二组节点的第二组参数，第二组节点的第二数量小于或者等于第一组节点的第一数量。