一种语言模型的协同训练方法、系统及介质

本发明属于模型训练技术领域，公开了一种语言模型的协同训练方法、系统及介质，所述方法包括：获取电力系统的样本数据集；将样本数据集输入至预训练语言模型中进行预测，得到预测结果，所述预测结果包括：基于请求分类任务得到的检索请求的可执行检索概率以及基于检索抽取任务得到的检索结果的预测概率；基于检索请求的可执行检索概率构建请求分类任务的第一损失函数；基于检索结果的预测概率构建检索抽取任务的第二损失函数；将第一损失函数与第二损失函数进行动态结合，得到总损失函数；基于总损失函数对预训练语言模型的参数进行迭代更新，得到训练好的预训练语言模型。本发明提高了预训练语言模型收敛速度、预测精度以及泛化能力。