一种嵌入式异构系统推测解码动态调度轻量化方法及系统

本发明公开了一种嵌入式异构系统推测解码动态调度轻量化方法及系统，所述方法包括：将推测解码任务分配至CPU、GPU和NPU三类处理器中，对推测解码过程中的草稿模型和目标模型进行模型压缩处理后，各处理器执行对应分配的推测解码任务，构建负载评估模型对推测解码过程中处理器的负载情况进行评估，根据评估结果动态调整草稿生成长度，引入多草稿并行处理机制，并对各草稿生成线程动态分配资源。该方法通过对推测解码过程中的模型压缩和计算调度策略进行联合优化，实现了推理性能的提升与功耗的降低，为解决大语言模型在嵌入式设备资源受限条件下的推理效率瓶颈问题提供了帮助。