用于大模型的评测方法及装置

本申请公开了一种用于大模型的评测方法及装置。所述评测方法包括：获取知识参考数据集，所述知识参考数据集包括常识知识参考数据集、世界知识参考数据集和语言知识参考数据集中的至少一者；基于所述知识参考数据集，构建未被包括在针对大型语言模型的训练语料库中的评测问题以及与评测问题对应的评测答案；针对每个评测问题的知识关系，构建多种问题模板，从而各个评测问题及其对应的评测答案以及多种问题模板构成用于大型语言模型的评测数据库；根据预设评测标准，利用所述评测数据库对待评测大型语言模型进行评测，得到所述待评测大型语言模型的评测结果。