一种大模型调度系统、方法、服务器、介质及产品

本发明公开了一种大模型调度系统、方法、服务器、介质及产品，包括：模型管理模块、算力调度模块与模型调度模块；所述模型管理模块，用于响应客户端针对目标大模型的管理操作，对所述目标大模型进行对应的模型管理；所述算力调度模块，用于针对每个大模型，根据所述大模型的模型参数信息确定与所述大模型匹配的目标算力资源节点，并将所述大模型挂载至所述目标算力资源节点上的容器中；所述模型调度模块，用于获取各所述容器的容器参数信息，在所述容器参数信息存在异常时，对挂载在异常容器上的大模型进行模型调度处理。上述技术方案，提高算力资源利用率，实现高效的算力资源选择与大模型调度。