基于自引导直接偏好优化的问答方法、装置、设备及介质

本申请公开了基于自引导直接偏好优化的问答方法、装置、设备及介质，涉及大语言模型技术领域，包括：将用于完成问答任务的初始大语言模型作为待更新策略模型，初始化参考策略模型和用于调控待更新策略模型的梯度更新方向的自引导策略模型；获取历史问答场景下的正例序列的子序列、反例序列的子序列；利用上述模型构建包括正例序列与反例子序列之间的第一对比损失项和正例子序列与反例序列之间的第二对比损失项的自引导直接偏好优化损失函数；利用该函数对待更新策略模型进行迭代梯度更新，得到目标大语言模型；将当前问答任务输入目标大语言模型，获取目标大语言模型输出的任务处理结果。提高模型生成人类偏好响应的能力并增强训练稳定性。