一种基于知识图谱的大模型回答效果评估方法及系统

本发明公开了一种基于知识图谱的大模型回答效果评估方法及系统，涉及大语言模型领域。公开了将多个问句进行预处理；预处理后的句子通过卷积计算得到关键词节点；通过关键词节点提取关键词属性；根据每个关键词节点的关键词属性的注意力影响分数，对各关键词属性进行筛选；使用筛选后的关键词属性构建上下文图，并经过多层感知机对关键词节点进行分类，得到多组关键词头节点和关键词尾节点；利用关键词节点为实体，分类结果为实体关系生成关键词知识图谱；将用户输入的问句通过大模型进行问答；对大模型的结果进行评测。本发明能够自动评估问答系统的回答效果，提高评估的效率和准确性。