模型推理进程组构建方法及模型推理方法

本申请提供一种模型推理进程组构建方法及模型推理方法。该方法包括：接收待推理模型的M个模型推理请求，并将M个所述模型推理请求缓存至第一共享变量中。根据M个所述模型推理请求的等待时长，以及，动态合批进程的批次数量上限，将M个所述模型推理请求动态合批为若干个批量请求集合。将若干个所述批量请求集合输入模型推理进程组中，生成若干个所述批量请求集合对应的模型推理结果，所述模型推理进程组通过3D并行地方式进行模型推理。输出所述模型推理结果。本申请的方法，增加了分布式推理大型深度学习模型的资源利用率。