用于端侧模型训练加速的大模型剪枝方法、装置和设备

本申请涉及一种用于端侧模型训练加速的大模型剪枝方法、装置和设备，所述方法指出端侧模型训练的主要瓶颈在于对输入序列的all‑to‑all注意力运算。all‑to‑all运算构造了一个完全图，即每个序列的token都和其余所有token建立了有向边，这种完全图是稠密结构，但是不同的token间有差异化的相似性，本方法根据token序列的差异化相似性构造系列化的稀疏图，实现了系列化、通用化的Transformer稀疏剪枝，为Transformer模型训练师提供了一套灵活的稀疏剪枝工具，通过剪除模型中不重要的参数，减少模型的计算量和存储需求，从而在有限的资源下实现高效的模型训练和推理，实现端侧模型训练的加速。