一种面向大语言模型推理一致性的多维评价系统和方法

本发明公开了一种面向大语言模型推理一致性的多维评价系统和方法，属于自然语言处理技术领域。针对大语言模型一致性评价局限于推理结果和事实一致性，导致评价方法不够全面的问题，通过设计一个包括一致性识别模块、评价数据集生成模块、一致性判别模块和一致性评价模块的系统，结合任务形式分析确定所需检验的一致性类型，基于所需检验的一致性类型，结合已有数据样例生成指令，并自动构建评价数据集，基于所构建数据集，依据所需评价的一致性种类及其逻辑要求，评价大语言模型在所构建的一致性评价数据集上生成的推理过程和推理结果的一致性，给出模型一致性能力综合评估报告。