一种面向Transformer神经网络模型的模块化分解方法

本发明提供一种面向Transformer神经网络模型的模块化分解方法，对于一个随机初始化的模型进行模块化训练，以及在模块化训练后应用掩码实现结构化分解，从而实现灵活的按需复用；具体包括以下步骤：S1、模块化训练；给定一个神经网络模型，首先将模型的全部参数随机初始化；包含一个神经元识别器，用来识别与特定功能相关的神经元；S2、结构化分解；对于模块化训练的模型，将对其进行模块化分解；S3、按需复用；通过结构化地移除神经元，来实现按需复用，最小化内存与计算开销。本发明可以实现Transformer结构模型的结构化分解与功能的灵活按需复用，有高度的可拓展性。