离线偏好对齐方法、装置、设备和介质

本申请提供一种离线偏好对齐方法、装置、设备和介质，涉及人工智能技术领域，尤其涉及强化学习技术领域。该方法包括：获取离线轨迹偏好数据，其中，所述离线轨迹偏好数据中包括多组轨迹对和对应的偏好标签；构建信息先验，依据所述信息先验确定每个轨迹对的置信度，其中，所述信息先验用于表征所述每个轨迹对的频率信息；采用最大后验目标，根据所述离线轨迹偏好数据和所述每个轨迹对的置信度更新奖励模型。本申请能够在模型学习过程中有效处理数据的不确定性，提高模型对稀缺或不平衡数据的适应能力。