一种降低深度学习模型响应时延的方法、装置及存储介质

本发明涉及一种降低深度学习模型响应时延的方法、装置及存储介质，应用于人工智能技术领域，包括：通过滑动窗口采样获取历史负载，基于历史负载使用动态联合预测机制获取初始负载预测数据，通过对应的负载实际数据序列获取误差补偿值，通过对初始负载预测数据进行误差补偿，得到最终负载预测数据；基于最终负载预测数据序列确定未来一段时间所需的实例总数；通过调整当前正在运行的实例数量以匹配未来一段时间所需的实例总数，从而降低大规模深度学习模型推理工作的响应时延；本申请通过精确的工作负载预测和资源调度，能够有效减少模型推理的响应时延，提高服务水平目标的达成率，并降低服务成本。