一种基于分布式边缘云的高效大语言模型推理方法

本发明涉及物联网技术领域，尤其涉及一种基于分布式边缘云的高效大语言模型推理方法，包括以下步骤：S1：将用户设备UE和边缘节点EN根据深度优先搜索树分配到包括GPU优先组、内存优先组和混合组的分类群组；S2：马尔可夫决策过程根据训练集得到分裂点，根据分裂点将推理模型进行划分得到划分模型，并将划分模型部署到在分类群组的每一个组中，得到优化模型；S3：将测试集输入到优化模型进行推理得到推理结果。本发明通过将设备进行划分，加快了推理速度；将推理模型进行划分，并部署到在分类群组的每一个组中，降低用户设备的负载。通过将预期贴现回报近似于长期总体目标，实现计算效率的大幅提高，使RL代理能够灵活地适应不断变化的部署环境。