大语言模型推理吞吐量测试的方法、装置及程序产品

本申请涉及一种大语言模型推理吞吐量测试的方法、装置及程序产品，其中该方法包括：基于精度评测的数据集对待测试框架进行推理评测；记录所述推理评测中每个请求信息；分别计算每个时刻处于预填充阶段和解码阶段的请求均值；建立所述请求均值与吞吐量的函数，生成吞吐量预测模型。通过采用真实的精度评测的数据集来进行推理评测，同时通过吞吐量与输入输出长度的关系进行拟合，减少推理实用与测量吞吐量的偏差。将精度评测和吞吐量测量同时完成，减少额外的计算量。