模型性能的分析方法、装置及设备

本公开提供了一种模型性能的分析方法、装置及设备，涉及人工智能领域，尤其涉及大模型和自然语言处理技术领域，可应用于智能交通、气象、生成式商业智能领域。包括：获取待分析数据集；待分析数据集包括提问信息和实际查询语句，实际查询语句表征提问信息对应的正确的SQL语句；通过待分析模型，确定提问信息对应的预测查询语句和回复信息；预测查询语句表征待分析模型对提问信息进行转换得到的SQL语句，回复信息表征模型对提问信息的答复；根据实际查询语句、预测查询语句、回复信息，得到待分析模型的分析结果；分析结果表征待分析模型的数据查询效果。通过对模型输出的SQL语句和回复信息两方面进行评估，提高对模型的分析精度。