一种大语言模型推理的算力评估与资源配置方法

本发明公开了一种大语言模型推理的算力评估与资源配置方法，所述算力评估与资源配置方法包括：步骤S101：输入待评估的大语言模型；步骤S102：解析所述大语言模型，并识别虚拟算子；步骤S103：所述虚拟算子算力需求剖析；步骤S104：生成算力使用判定表；步骤S105：实时采集异构GPU池硬件能力，获得异构硬件能力参数；步骤S106：将所述异构硬件能力参数进行标准化处理；步骤S107：算力需求与硬件能力数学匹配；步骤S108：动态推荐并选择最佳适配硬件组合；步骤S109：根据推荐的最佳适配硬件组合启动大语言模型。通过一套动态评估机制，精确预测该模型所需的算力资源，并据此从异构GPU资源池中智能推荐并选择最适合的硬件组合。