一种大语言模型推理服务优化方法、系统、设备及介质

本发明公开了一种大语言模型推理服务优化方法、系统、设备及介质，包括：获取当前推理请求队列；对所述当前推理请求队列中的各推理请求进行动态排序；使用SLO‑BS算法，对推理请求队列中的各推理请求进行动态批处理，得到当前批次的推理请求将所述当前批次的推理请求输入到大语言模型中，该方法、系统、设备及介质能够解决多任务并发推理时出现的显存碎片化问题，同时降低SLO违规率。