一种模型推理服务部署方法、装置、设备及存储介质

本发明公开了一种模型推理服务部署方法、装置、设备及存储介质。该方法包括，在模型推理过程中，获取计算资源集群中所有模型推理服务的推理指标参数。针对每个所述模型推理服务，根据所述模型推理服务对应的推理指标参数和预先构建的各个模式确定阈值，确定所述模型推理服务对应的目标调度模式，其中，所述目标调度模式包括服务质量优先模式和资源利用率优先模式。基于所述目标调度模式中的服务部署策略，确定所述模型推理服务对应的服务部署方式，并基于所述服务部署方式，将所述模型推理服务进行服务部署，以根据需要动态调整调度策略，确保模型推理服务能够满足预定的性能要求，同时提升存量GPU资源的利用率。