自然语言模型的剪枝处理方法、系统和电子设备

本发明提供一种自然语言模型的剪枝处理方法、系统和电子设备，基于获得的各个训练数据并基于自然语言模型，获得对应的输入构造数据及对应的标签数据，标签数据表征多头注意力运算模块中各个头部的权重。利用输入构造数据及标签数据对构建的剪枝小模型进行训练，将剪枝小模型的模型参数与自然语言模型的模型参数进行合并，得到具备剪枝功能的自然语言模型，其中，该模型中包含的剪枝小模型的模型参数可用于对待处理数据进行处理时，对自然语言模型中的多个头部进行剪枝处理。该方案中，优化后的自然语言模型中剪枝小模型部分能够根据每次的不同输入自适应找到最优的头部，推理效果更好、鲁棒性更强。