一种批量推理方法、装置、设备及可读存储介质

本申请公开了一种批量推理方法、装置、设备及可读存储介质，可应用于计算机技术领域，该方法包括：获取各个请求方发送的推理请求；基于预设合并规则对所述推理请求进行合并，得到批量请求任务集；按照与所述批量请求任务集对应的请求模式，将所述批量请求任务集推送到与所述批量请求任务集对应的目标模型服务，使所述目标模型服务对所述批量请求任务集进行处理，并得到批量推理结果；所述请求模式包括同步、异步以及流式中的一种。如此，基于调度合并机制，将多个推理请求进行合并处理并按照与之对应的请求模式发送到目标模型服务进行处理，提高了推理效率。