训练语言模型的方法及装置

本说明书实施例涉及训练大语言模型的方法及装置。首先，获取数据集，其中包含第一问题及其对应的第一拒答回答和第一不安全回答，并包含第二问题及其对应的第二正常回答；第一问题中包含违规内容；然后，构造训练集，包括第一样本、第二样本和第三样本；第一样本包含作为输入文本的第一问题、被标记为偏好输出的第一拒答回答和被标记为非偏好输出的第一不安全回答；第二样本包含作为输入文本的第二问题、被标记为偏好输出的第二正常回答和被标记为非偏好输出的第一拒答回答；第三样本包含作为输入文本的第二问题、被标记为偏好输出的第二正常回答和被标记为非偏好输出的第一不安全回答；最后，根据训练集，基于偏好优化算法训练大语言模型。