基于服务指标感知复用的分离式大语言模型推理方法和系统

本发明涉及一种基于服务指标感知复用的分离式大语言模型推理方法和系统，用于对多个工作节点进行调度，在同一工作节点以SLO感知的方式协同调度Prefill和Decode任务，通过记录Decode操作时间与TPOT时间的差值(即TPOT松弛)，当预测Prefill执行时间小于Decode节点的松弛时间时，将Prefill任务调度到复用节点，以此降低Prefill排队时间，同时把Prefill对Decode的干扰控制在可接受范围内，平衡排队时间与干扰，提升系统SLO达成率。与现有技术相比，本发明具有提高服务指标达成率、优化TTFT性能等优点。