一种基于资源重分配的高可用的模型调度部署方法

本发明公开了一种基于资源重分配的高可用的模型调度部署方法，推荐模型通过在线调度系统来进行资源分配，自适应扩缩容，完成模型的调度和部署；上述方法为自适应扩缩容方法，可以实现模型自动化部署，解放运维人力；为了通过缩短资源重分配时间间隔，提升实验变更过程中服务的高可用，本方案采用布林带策略来进行模型服务资源的动态调整，可以同时兼顾实时性，可用率与资源利用率；该方案平均一次资源调整只需要十几秒就能完成，且模型服务的日常可用率可以达到99.99％。