通过细粒度分类建模提升大语言模型代理评测准确度的方法、装置

本公开提供了一种通过细粒度分类建模提升大语言模型代理评测准确度的方法，可以应用于人工智能技术领域。该通过细粒度分类建模提升大语言模型代理评测准确度的方法包括：将目标指令输入至大语言模型中，得到模型执行结果以及工具调取结果，其中，工具调取结果表征在大语言模型运行过程中调用工具的能力；确定模型参考结果和工具参考结果，其中，模型参考结果和工具参考结果均为按照与目标指令相匹配的方式确定的；基于模型执行结果和模型参考结果，确定任务完成评估结果；基于工具调取结果和工具参考结果，确定工具调用评估结果。本公开还提供了一种通过细粒度分类建模提升大语言模型代理评测准确度的装置。