一种用于边缘设备的大语言模型优化方法和系统

本发明适用于大语言模型技术领域，尤其涉及一种用于边缘设备的大语言模型优化方法和系统，所述方法包括：构建边缘设备网络；对边缘设备进行划分，得到多个边缘设备集群，提取各个边缘设备的设备参数信息；进行剪枝处理，得到压缩模型，对边缘设备集群进行资源划分，得到固定资源和动态资源；对压缩模型进行拆分和加载，对数据处理任务进行处理，进行动态局域重复加载，完成对后续任务的处理。本发明根据不同的边缘设备进行不同比例的压缩，将压缩模型拆分后加载在各个边缘设备上，并通过边缘设备对部分压缩模型进行重复加载，以保证数据处理的均衡度，提高数据处理速度，使得性能较低的边缘设备也能够运行大语言模型。