一种基于加权注意力对齐的模型剪枝方法及系统

本发明公开一种基于加权注意力对齐的模型剪枝方法及系统，涉及人工智能，针对现有技术中缺乏关联等问题提出本方案。包括以下步骤：S1.预微调：先利用预训练模型参数初始化目标模型，然后使用目标域的数据对批归一化层参数进行若干次L1正则化微调；S2.预剪枝：对训练好的目标模型的批归一化层参数绝对值进行全局排序，将末尾的通道剪去，得到预剪枝的模型；S3.基于加权注意力对齐的模型剪枝训练：对剪枝后的模型进行剪枝微调训练，通过加权注意力对齐机制引入预训练模型的指导，得到针对目标域数据集的剪枝模型。优点在于，实现预训练知识的高效利用、实现剪枝与迁移的有效结合、提升剪枝性能、减少训练时间。