一种大语言模型的优化方法及装置

本说明书实施例公开了一种大语言模型的优化方法及装置，该方法通过少量人工标注数据合成偏好数据，可以生成大量高质量、一致性的训练样本，在节省训练时间和训练成本的同时，保障大语言模型的学习效果。该方法采用的直接偏好优化方法相比传统的强化学习方法更加稳定、高效，能够更好地保持大语言模型性能的稳定性。本说明书实施例所述的大语言模型的优化装置同样具有上述有益效果。