对大模型进行多目标对齐训练的样本确定方法及装置

本说明书实施例针对大模型的多目标对齐训练，跳出对大模型训练方法改进的思路，从训练数据上进行改进。根据一个实施方式，基于各个业务目标的偏好样本集，对偏好样本基于提示信息进行扩展和筛选，在扩展得到的候选响应中，筛选出满足奖励一致性的候选数据对，单个候选数据对包括候选正例和候选负例，奖励一致性是指候选正例在各个业务目标上的奖励均大于候选负例在相应业务目标的奖励，然后，对于满足奖励一致性的候选数据对，再根据候选正例和候选负例在业务目标k上的奖励差，从各个候选数据对中选择目标数据对，与相应的提示信息一起构建目标样本。如此，可以为多目标对齐提供一种更为高效和稳定的解决方案。