一种大模型评测自动化打分系统及算法

本发明公开了一种大模型评测自动化打分系统及算法，包括评测系统；所述包括评测系统包括：数据管理单元、评测任务管理单元、评测执行单元、评测计算单元和结果展示单元；数据管理单元，负责管理和处理评测所需的数据集；具有上传、存储、清洗和格式化数据的功能；评测任务管理单元，负责创建和管理评测任务，选择评测数据集、模型和Prompt模板；评测执行单元，执行评测任务，调用相应的模型和数据集进行评测，并收集评测结果；评分与计算单元，负责对评测结果进行评分和计算，生成最终的评测分数；结果展示单元，负责将评测结果直观地展示给用户。本发明通过自动化打分算法，显著减少人工参与，提高评测效率，能够快速处理大规模模型和数据集。