一种模算效率测试方法、系统、装置、设备、介质及产品

本发明涉及人工智能技术领域，具体公开了一种模算效率测试方法、系统、装置、设备、介质及产品，在控制被测试软件框架调用被测试模型在被测试设备上根据数据集执行模型计算任务之后，根据模型计算任务确定模型性能参数、模型数据吞吐参数和计算性能参数，根据模型性能参数、模型数据吞吐参数和计算性能参数确定被测试模型计算系统的模算效率，以对算力提升对模型性能提升的效果进行量化评价，从而实现对包括被测试模型、被测试软件框架和被测试设备的被测试模型计算系统的模型计算性能的量化评估。作为适用于各类模型计算任务的评测方案，增强了不同模型在不同设备上运行的可比性指标，为模型及模型计算系统的改进完善提供了参考依据。