一种语言模型训练方法、装置、存储介质和电子设备

本发明提供了一种语言模型训练方法、装置、存储介质和电子设备，属于自然语言处理技术领域。本发明实施例首先基于基础数据集，对初始语言模型进行训练，得到第一语言模型；然后根据第一语言模型在同一提示词下生成的回答文本对的事实性得分，将事实性得分较高的回答文本标注为优选回答，将事实性得分较低的回答文本标注为非优选回答，以构建得到偏好数据集；最后基于偏好数据集和预设的事实性强化算法，对第一语言模型进行训练，得到目标语言模型。本发明实施例利用偏好数据集对第一语言模型进行进一步的事实性强化训练，使得训练得到的目标语言模型在生成内容时能够优先选择事实性更高的文本，进而显著提升模型生成内容的事实准确性。