基于分组自我博弈和自适应加权的大模型微调方法及装置

本发明提供一种基于分组自我博弈和自适应加权的大模型微调方法及装置，涉及自然语言处理技术领域。该方法包括：根据大语言模型构建对手团队生成模型响应，根据输入数据、目标响应和模型响应构建偏好数据集；构建主力团队，定义主力团队成员的评分函数，根据偏好数据集和评分函数构建损失函数；根据主力团队中的每个队员对目标响应的评分得到目标响应在损失函数中的自适应权重；根据每个队员对目标响应的评分和对模型响应的评分定义偏好边距，计算每个队员的权重，构建最终的损失函数，对大语言模型进行迭代微调。本发明提出了一种新的大语言模型微调算法，它分别通过基于分组的自我博弈和双重自适应权重调节来增强大语言模型的对齐效果。