基于混合并行的移动端LLM异构调度方法及系统

本发明公开一种基于混合并行的移动端LLM异构调度方法，包括：获取调度计划；根据获取的调度计划，基于离线变换后的大语言模型LLM执行模型推理；其中，大语言模型LLM的离线变换，包括：预执行基准测试任务，确定移动端异构计算设备的算力比；提取大语言模型LLM的静态信息，结合确定的算力比，制定混合并行策略，将大语言模型LLM划分为多个计算块；为每个计算块设置同步点，整合计算结果，完成大语言模型LLM的原始计算图到混合并行计算图的离线变换。本发明通过将混合并行的策略应用到移动端异构的场景中，提升了LLM在手机移动端的推理性能，解决了现有推理框架计算设备使用不够充分与异构设备之间的不平衡等问题。