一种针对大语言模型的上下位关系判断能力的评估方法

本发明公开了一种针对大语言模型的上下位关系判断能力的评估方法，属于自然语言处理领域，方法包括：根据多种包含上下位关系的数据集构建分类图；根据分类图及数据集中的结构信息，构建测试用例；将测试用例与预先设计的多种提示词进行组合，输入到被测的大语言模型中，获得返回结果；根据大语言模型的返回结果，评估大语言模型的上下位关系的判断能力；本发明充分结合大语言模型能够理解词汇在不同语境中的意义，克服了之前方法的不足之处，此方法通过设计不同的提示词，既评估了大语言模型的基础上下位关系的判断能力，也通过注入外部知识提高大语言模型的推理能力和上下位关系的识别准确性。