一种模型评估方法、装置、电子设备及存储介质

本发明实施例提供了一种模型评估方法、装置、电子设备及存储介质，电子设备可以获取评估测试数据集；基于评估测试数据集，通过预设评估方式，对待评估模型进行评估，得到评估结果，其中，预设评估方式包括一致性评估方式、理解能力评估方式以及知识掌握程度评估方式中的至少一种；一致性评估方式用于评估待评估模型基于不同提示词，对同一测试数据输出的预测答案之间的一致性，理解能力评估方式用于评估待评估模型对多个改写测试数据输出的预测答案的正确率，知识掌握程度评估方式用于评估待评估模型对测试数据对应的深入测试数据输出的预测答案的正确率。这样，可以对大语言模型的一致性、理解能力以及知识掌握程度进行评估。