大语言模型的自我批评能力评估方法

本发明涉及人工智能技术领域，公开了一种大语言模型自我批评能力评估方法，包括：数据集构造阶段；从多个工具调用数据集中收集工具调用轨迹和接口文档；对错误进行分类并扩展；模型内驱错误通过大语言模型模拟扩展，环境外部错误通过重复接口调用生成或通过大语言模型模拟扩展；根据接口的可访问状态来收集工具对模型内驱错误的响应；评测指标设计阶段：引入步骤级细粒度的评估任务；设计多维度评测指标，通过对多维度评测指标加权求和，得到大语言模型总体自我批评能力评分。本发明通过模拟真实世界中可能出现的各种工具使用错误，包括模型内驱错误和环境外部错误，来评估大语言模型在这些复杂场景下的表现。