面向边缘计算的轻量级大模型压缩与部署方法

本发明提供面向边缘计算的轻量级大模型压缩与部署方法，涉及大模型进行压缩与部署的技术领域，包括自适应大模型压缩算法和基于边缘自治的分布式部署架构，用于在边缘设备上实现大模型的高效压缩与部署，自适应大模型压缩算法的资源与任务感知模块在边缘设备上实时监测硬件资源和获取当前任务信息，为压缩策略制定提供依据，自适应动态剪枝策略能依据任务需求和设备资源精准调整剪枝阈值，在压缩模型的同时最大程度保留关键信息，例如在医学影像识别任务中，传统剪枝方法可能使模型对微小病灶的识别准确率从90%降至70%，而本发明的剪枝策略能将准确率稳定保持在85%以上，压缩率可达40%，有效提升了模型在有限资源下的可用性。