大语言模型对齐方法、装置、电子设备及可读存储介质

本公开提供一种大语言模型对齐方法、装置、电子设备及可读存储介质，涉及机器学习技术领域。所述方法包括：获取待对齐的大语言模型对应的初始偏好数据集；基于多个所述初始偏好数据集的子集，训练得到每个所述初始偏好数据集的子集对应的奖励模型；确定所述奖励模型中的降噪模型；基于所述降噪模型将所述初始偏好数据集划分为高噪声偏好数据集及低噪声偏好数据集；确定所述高噪声偏好数据集对应的第一损失函数，以及所述低噪声偏好数据集对应的第二损失函数，并基于所述第一损失函数及所述第二损失函数优化所述奖励模型；基于优化后的奖励模型对所述待对齐的大语言模型进行对齐训练。本公开有效降低了噪声数据对奖励模型训练的影响。