一种基于集群部署模型的系统及方法

本发明提供一种基于集群部署模型的系统及方法，可以提升模型在集群中部署后的资源利用率。基于集群部署模型的系统包括：调度控制器，所述调度控制器用于接收推理请求，调整多模型共享容器组的资源分配，并将所述推理请求分发到对应模型所属的多模型共享容器组上；多模型共享容器组，所述多模型共享容器组与所述调度控制器通信连接，所述多模型共享容器组用于同时运行多个相同类型的模型；分布式存储器，所述分布式存储器与所述多模型共享容器组通信连接，所述分布式存储器用于存储所述多模型共享容器组的模型文件数据及模型元数据。