一种基于预训练模型的视觉神经网络模型剪枝方法

本发明提供了一种基于预训练模型的视觉神经网络模型剪枝方法，涉及视觉神经网络ViT模型剪枝技术领域，该方法首先加载预训练模型，并初始化一个与模型权重矩阵W相同大小的辅助矩阵w'，用于记录每个参数在训练过程中的重要性。在训练过程中，利用数据集和soft target标签更新w'矩阵，反映每个参数对模型输出分类任务的贡献。通过统计用户数据中的分类频率，找出用户最常用的分类类型，并根据此信息筛选出不重要的参数进行剪枝。最后，使用剩余的w'矩阵对模型进行微调，确保剪枝后的模型精度不低于预设要求。本发明能够自适应调整剪枝策略，适用于移动设备或计算资源受限的设备，提高了模型的计算效率和个性化适配能力。