一种模型预训练方法、装置、设备及存储介质

本申请公开了一种模型预训练方法、装置、设备及存储介质。所述方法包括：针对待训练的因果语言模型，固定所述因果语言模型的编码器参数，并对所述因果语言模型的词嵌入层进行训练；响应于完成对所述词嵌入层的训练，在所述因果语言模型的注意力模块中设置适配器权重，并对所述词嵌入层、所述因果语言模型的头部、以及所述适配器权重进行联合训练，得到训练后的因果语言模型；其中，对所述词嵌入层的训练以及所述联合训练分别采用中文数据集。本申请提供的方法显著减少了模型训练所需的显存成本，使之能在单张民用级显卡上完成实施，在保证中文语言模型性能的同时，保证了训练的便捷和效率。