一种基于样本感知的大语言模型自适应结构化剪枝方法和系统

本发明公开了一种基于样本感知的大语言模型自适应结构化剪枝方法和系统，旨在通过自适应优化剪枝过程，压缩大语言模型的大小，同时提高其推理效率和性能。本发明通过贝叶斯优化在结构化剪枝解空间中自适应地搜索最佳的校准数据和重要性评估指标，从而避免了传统方法中人工设计和试错的繁琐过程。具体而言，本发明结合了粗粒度和细粒度的权重重要性评估指标，全面评估参数对模型性能的影响，从而准确识别冗余参数，进行结构化剪枝。最终，通过低秩自适应微调技术，恢复因剪枝而损失的性能。本发明能够显著减少模型的存储和计算需求，提高模型的部署效率，适应多种硬件环境，且具有较高的灵活性和可扩展性，广泛适用于大语言模型的实际应用中。