基于双重预测的内存受限设备MoE大模型推理优化系统及方法

基于双重预测的内存受限设备MoE大模型推理优化系统及方法，属于MoE大模型推理优化技术领域。为解决优化基于MoE的LLM在内存受限设备上的推理性能，本发明包括逐层预测器，逐token预测器，专家管理模块，所述专家管理模块包括专家缓存、临时专家缓冲区和I/O调度器。逐层预测器连接逐token预测器，逐层预测器和逐token预测器分别连接I/O调度器，逐token预测器连接专家缓存，I/O调度器分别连接临时专家缓冲区和专家缓存。本发明创新性地提出了预测式专家Cache、临时专家缓冲区以及逐token预取技术；本发明使得推理系统能够使用较少的内存资源，明显地提升LLM的推理速度。