模型资源部署方法、装置、设备、存储介质及程序产品

本申请公开了一种模型资源部署方法、装置、设备、存储介质及程序产品，涉及通信技术领域，以有效利用GPU资源。该方法包括：获取推理业务需求；根据所述推理业务需求，预估待部署的大模型所需的GPU资源；部署所需的GPU资源；在接收到推理任务的情况下，根据所述推理任务对部署的GPU资源进行调整。本申请实施例可以有效利用GPU资源。