一种基于任务匹配相似度的轻量级预训练模型剪枝方法

本发明公开了一种基于任务匹配相似度的轻量级预训练模型剪枝方法，包括：对模型进行预训练微调，量化上游任务的通用任务知识与下游任务的特定任务知识之间的匹配相似度分数，执行模型动态剪枝策略，对动态剪枝后的模型进行联合微调训练优化。本发明方法通过融合上下游任务知识优化剪枝策略，显著提升了剪枝模型的性能，同时大幅减少了模型参数和计算开销，增强了模型的泛化能力，动态剪枝策略使得剪枝过程更加灵活，能够根据任务需求进行个性化的调整，本发明技术方案不仅适用于计算机视觉领域的预训练模型剪枝，还可以扩展到其他领域的深度学习模型剪枝中，具有广泛的应用前景和潜在的经济价值。