推理加速方法、装置和设备

本发明涉及一种推理加速方法、装置和设备，涉及人工智能技术领域，该方法、装置和设备，采用本发明实施例提供的技术方案，通过设置动态调度模块，在解析任务请求后，通过设定的连续批处理算法，实现对资源的动态调节，解决了现有技术中调度能力受限，造成算力浪费的技术问题。其中，通过以最小化总延迟和最大化资源利用率为联合优化目标，进行连续批处理算法的改进，提升了调度能力。