一种基于多专家模型的协同推理方法、设备及介质

本说明书实施例公开了一种基于多专家模型的协同推理方法、设备及介质，涉及协同推理技术领域，方法包括：接收多个推理任务请求，以获取每个推理任务的任务特征信息；基于每个推理任务的任务特征信息和预先获取的模型注册信息，进行任务分配，以确定每个推理任务对应的至少一个分配专家模型；对每个分配专家模型的模型负载进行预测，以根据预测负载率，对每个推理任务对应的至少一个分配专家模型进行调整，确定对应的至少一个目标专家模型；将每个推理任务下发至对应的所述目标专家模型，通过异步消息队列采集每个目标专家模型的单模型推理数据，以通过每个目标专家模型的单模型推理数据，确定每个推理任务对应的协同推理结果。