一种检索增强生成应用的评估方法、装置、设备以及介质

本申请实施例提供一种检索增强生成应用的评估方法、装置、设备以及介质，涉及人工智能领域，包括：将输入问题信息输入检索增强生成应用，生成输出答案信息；将输出答案信息以及输入问题信息输入评估模型，生成评估得分；评估模型按照如下方式进行训练：基于目标领域知识库，构建正确训练数据以及缺陷训练数据；基于正确训练数据以及缺陷训练数据，生成偏好训练数据；对第一大语言模型进行预训练、监督微调和偏好训练，得到评估模型。本申请基于训练数据训练评估模型，在训练阶段融入了目标领域知识，通过监督微调和偏好训练使评估模型与人类偏好保持一致，可以更好的对检索增强生成应用生成的答案进行评估。