大语言模型的调度方法、装置、电子设备、可读介质及计算机程序

本申请实施例提供了一种大语言模型的调度方法、装置、电子设备、可读介质及计算机程序，该方法包括：接收至少一个任务请求，其中，所述任务请求中携带有需求信息；对于每个所述任务请求，基于多个大语言模型中每个大语言模型执行所述任务请求的目标准确率、延迟及成本，从所述多个大语言模型中选择一个满足所述任务请求中携带的所述需求信息且成本最低的目标模型，其中，不同所述大语言模型的参数量不相同，所述成本用于指示所述大语言模型执行所述任务请求的计算量；将所述任务请求分配给所述目标模型执行。