一种大模型集群部署方法、装置、设备及存储介质

本申请公开了一种大模型集群部署方法、装置、设备及存储介质，涉及人工智能领域，包括：基于预设量化工具对与部署任务对应的大模型进行并行量化，并对量化后模型进行指标评测，以得到对应的模型评测结果；基于所述模型评测结果确定与所述部署任务对应的待部署模型列表；获取当前与所述部署任务对应的异构集群的计算资源信息与集群运行状态；利用所述计算资源信息、所述集群运行状态、所述待部署模型列表以及动态规划策略确定目标部署方案，并基于所述目标部署方案完成与所述部署任务对应的大模型部署操作。本申请能够有效避免异构集群中出现GPU性能挤占的情况，从而降低部署成本，并提高大模型在异构集群中运行的稳定性。