推理请求动态批处理方法、装置、电子设备及存储介质

本申请公开了一种推理请求动态批处理方法、装置、电子设备及存储介质，涉及计算机技术领域，利用强化学习的动态批处理奖励算法来学习获取最优批处理策略，能够动态调整推理请求批处理量，显著提升了推理请求处理效率和资源利用率，加速了训练与推理进度，提升了资源利用率和推理响应速度，并在推理节点执行所述推理请求过程中，监测获取实时性能指标来动态调整所述最优批处理策略，适应了数据变化，适用于需要高吞吐量、低延迟和高资源利用率的推理场景，因此，可以解决静态批处理在面对请求量波动或数据分布变化时导致资源利用率低下或响应延迟增加的技术问题，使得资源管理和调度更加高效和统一。