一种基于Server-Client大模型推理任务卸载系统及方法

本发明公开了一种基于Server‑Client大模型推理任务卸载系统，包括：第一固定参数存储模块，用于集中存储Transformer主干网络的固定参数；第一通信管理接口模块，用于实现与各客户端之间的数据交互，支持KV缓存、专家参数数据的同步与传输；第一用户请求接入模块，用于负责接收和预处理来自不同用户的推理请求，分配唯一标识并进行初步调度；第一推理模块，用于根据固定参数和Transformer主干网络对推理请求进行的批量推理，生成对应的推理任务；第一专家分配决策模块，用于根据路由网络输出和系统负载，动态决定每个推理请求所需激活的专家网络。还公开了一种基于Server‑Client大模型推理任务卸载方法。本发明克服了当前大模型推理系统在多用户高并发场景下的资源瓶颈与延迟问题。