一种基于受限偏好标识排序的偏好对齐模型训练方法

本发明公开了一种基于受限偏好标识排序的偏好对齐模型训练方法，包括基于SFT数据集，构建候选偏好数据集；基于候选偏好数据集，构建受限偏好标识排序数据集；采用受限偏好标识排序数据集训练SFT模型，得到偏好对齐模型。本发明能够避免大语言模型在训练中出现不稳定、过拟合等问题，无需人工标注大量偏好数据，并且大幅度减少训练偏好对齐模型所需的算力。