用于具有多种处理单元的大语言模型推理系统的调度方法及设备

本公开涉及一种用于具有多种处理单元的大语言模型推理系统的调度方法及设备，包括：获取用户的推理请求，推理请求包括用户输入的文本；利用分类模型，按照文本的内容对推理请求进行分类，以在预设的至少一个请求类别中确定推理请求所属的请求类别；获取多种处理单元中的每种处理单元针对请求类别的调度分数，其中，每种处理单元针对请求类别的调度分数基于该种处理单元针对请求类别的满意度得分；基于多种处理单元中的每种处理单元针对请求类别的调度分数，将推理请求调度给多种处理单元中的一种处理单元。通过本公开，能够根据推理请求所属的请求类别来将推理请求动态地调度给不同种类的处理单元，以期为用户提供满意度和性价比更高的推理服务。