基于令牌感知与李雅普诺夫优化的分布式大模型推理方法

本发明涉及分布式大模型推理领域，具体涉及一种基于令牌感知与李雅普诺夫优化的分布式大模型推理方法。方案包括：接收用户输入提示后，通过长度感知语义模块预测对应任务的输出令牌长度，计算对应工作总量，基于令牌长度预测结果、设备实时状态与长期虚拟队列状态，通过李雅普诺夫引导卸载优化模块迭代卸载算法生成最终卸载决策；客户端根据最终卸载决策将任务卸载至对应的云边端设备，设备执行大模型推理；调度器根据实际任务执行时间与设备算力利用率，更新虚拟队列长度，为下一时隙决策提供输入。本发明适用于利用分布式大模型的推理系统。