基于混合整数规划的GPU集群下LLM模型资源分配方法和装置

本申请提供一种基于混合整数规划的GPU集群下LLM模型资源分配方法和装置，涉及计算机技术领域，该方法包括：接收用户的计算资源分配请求，并基于该计算资源分配请求确定至少一个LLM模型的资源需求信息和预算上限；获取GPU集群的可用资源信息；其中，GPU集群包括多个异构的GPU；将可用资源信息、资源需求信息以及预算上限作为预先构建的资源分配模型的输入，通过预备的寻优方式求解资源分配模型的决策变量，得到目标分配方案；资源分配模型基于混合整数规划算法框架构建；基于目标分配方案为至少一个LLM模型进行计算资源分配。本方案可以利用资源分配模型得到全局最优的目标分配方案，利用该目标分配方案进行计算资源分配提高了资源利用率。