一种针对视觉Transformer模型的小样本细粒度块级模型剪枝方法

本发明提供了一种针对视觉Transformer模型的小样本细粒度块级模型剪枝方法。较于传统的结构化模型剪枝方法，本发明提出的细粒度块剪枝方法能够更精准地识别和剪除模型中的冗余部分。通过将视觉Transformer(ViT)模型的Transformer编码层细分细粒度块，实现了对模型的精细化处理。在小样本条件下，利用基于恢复能力的剪枝候选块重要性评估指标，进一步确保了剪枝决策的准确性，衡量候选块剪枝后模型恢复能力及计算效率，综合评估块重要性，实现精准剪枝，平衡精度与效率。进一步通过构建剪枝与微调一体化框架，通过微调后的模型性能对候选块进行排序，确保剪枝过程连贯且性能损失最小，适应资源受限环境。