一种智能推断系统、方法、设备及介质

本申请实施例涉及算力调度领域，公开了一种智能推断系统、方法、设备及介质。系统包括基座模型，用于进行共享参数的推断过程；多个适配器模型，每个所述适配器模型用于进行推断任务的推断过程；所述基座模型于所述适配器模型分离独立部署，支持多个所述适配器模型在一个基座模型上并行推断；智能路由器，用于接收并分析推断任务，根据预设的规则选择对应的所述适配器模型，将所述适配器模型加载到对应的推断节点。通过引入LoRA模型的适配器设计和智能路由器机制，实现了低显存环境下多专家模型的高效部署和推断，能够显著降低显存使用，同时提高推断响应速度。可以至少用以解决专家模型推断效率低的技术问题。