事实性知识问题的回答能力评估方法、产品、设备及介质

本申请公开了事实性知识问题的回答能力评估方法、产品、设备及介质，涉及自然语言处理领域，包括：对历史知识图谱中的子图进行采样，以生成事实性知识问题评测集；将评测集和先验提示信息组输入至预训练语言模型中，以对事实性知识问题进行推理得到多个推理回答；若多个推理回答中均不包含预设目标字符，则利用后验提示信息对多个推理回答的真实性进行检测，若检测结果表明多个推理回答与事实相符，则判定模型具备回答相应问题的能力。本申请通过先验判断和后验检查两个阶段，先对事实性知识问题进行推理，再对推理后的回答进行真实性检测，可以防止模型因幻觉导致的误判，并提高了模型对事实性知识问题的回答能力的评估效率。