一种模型推理服务弹性负载预测方法、设备及介质

本申请公开了一种模型推理服务弹性负载预测方法、设备及介质，属于弹性负载预测技术领域。方法包括：基于所述Kubernetes平台的Prometheus采集所述模型推理服务的运行数据；清洗并整理所述运行数据，以生成标准运行数据；构建基于transformer的时序预测模型；基于所述时序预测模型处理所述标准运行数据，以生成预设时间段的负载预测；将设时间段的负载预测输送至所述Kubernetes平台的HPA，并基于所述HPA调整所述模型推理服务的负载数量。本申请通过上述方法实现了更精准地预测负载变化，减少人工干预和运维成本，更加智能化的资源调度的技术效果。