用于训练隔离路由模型的方法、计算机存储介质、程序产品和设备及混合推理系统

本发明涉及利用计算机模型的计算机系统，公开了用于训练隔离路由模型的方法、计算机存储介质、程序产品和设备及混合推理系统。一种用于训练隔离路由模型的方法包括：获取训练任务集；获取第一模型通过率和第二模型通过率；基于第一和第二模型通过率生成软标签；由隔离路由模型生成预测结果，其指示训练任务要被路由至第一或第二大语言模型的概率；基于预测结果和软标签确定损失函数；基于损失函数调整隔离路由模型的参数。第一和第二模型通过率分别通过对第一和第二大语言模型执行训练任务的结果进行多次采样而确定。该方法能够高效地训练隔离路由模型，使得能够在多个大语言模型之间精确地对任务进行路由来获得性能与成本之间的平衡。