一种基于自生成与推理评估构建偏好数据的语言模型推理能力优化方法

本发明公开了一种基于自生成与推理评估构建偏好数据的语言模型推理能力优化方法，包括以下步骤：(1)针对给定的输入问题，利用待训练的基础语言模型生成多个不同的候选响应序列；(2)对多个不同的候选响应序列进行质量评估，并提取代表其推理过程特征的信息，构建代表候选响应序列特征的向量；(3)基于质量评估结果和特征向量，为所述输入问题构建一个由优选响应和劣选响应组成的偏好对；(4)利用偏好对对基础语言模型进行训练或优化，以使训练后的模型生成优选响应的概率高于生成劣选响应的概率。本发明无需外部高质量标注数据或大型教师模型，可低成本、高效地提升语言模型在专业领域的性能，尤其推理能力。