一种基于强化学习的语言模型预训练方法及系统

本发明属于语言模型预训练技术领域，公开了一种基于强化学习的语言模型预训练方法及系统。所述的方法包括如下步骤：采集电力系统的若干高质量文本数据；构建初始的语言模型，并对初始的语言模型进行优化，得到优化的语言模型；基于优化的语言模型，根据若干预设应用场景，构建预训练策略生成模型；根据电力系统的实时应用场景，使用预训练策略生成模型，生成优化的语言模型的实时预训练策略；根据实时预训练策略，使用若干高质量文本数据，对优化的语言模型进行预训练，得到预训练的语言模型。本发明解决了现有技术存在的定制化程度低、预训练效果差、智能化程度低、缺乏持续学习机制以及语言模型结构简单的问题。