基于预设错误模式的大语言模型负样本增强偏好优化方法

本发明提供一种基于预设错误模式的大语言模型负样本增强偏好优化方法及装置，涉及大语言处理技术领域。该方法包括：基于对话问答场景，采集对话问题以及问题对应正确回答的数据，获得正样本数据集；定义大语言模型回答的错误类型；根据错误类型构建错误描述文本；基于自监督错误注入机制，根据错误描述文本以及正样本数据集，使用目标大语言模型进行数据生成，获得负样本数据集；使用正样本数据集以及负样本数据集，对目标大语言模型进行KTO偏好优化训练，获得优化大语言模型。本发明是一种基于错误模式的效率高且鲁棒性好的大语言模型负样本增强偏好优化方法。