语言模型训练方法、任务处理方法及装置

本发明提供一种语言模型训练方法、任务处理方法及装置，其中方法包括：将上一次迭代训练后的初始语言模型的前馈神经网络中的目标线性层的输出通道，按照分组信息和当前稀疏度进行稀疏化处理；将上一次迭代训练后的初始语言模型的多头注意力网络中的多个注意力头的权重矩阵，按照分组信息进行稀疏化处理或压缩处理；根据处理后的前馈神经网络和处理后的多头注意力网络，构建当前次迭代训练对应的待训练语言模型，根据样本语言数据及其对应的任务处理标签，对待训练语言模型进行训练，得到当前次迭代训练后的初始语言模型，以构建目标语言模型。本发明实现保障模型训练效率的同时，降低模型训练成本和稳定性，以提升语言任务的处理性能。