大模型预训练的方法、装置、设备、存储介质及程序产品

本申请提供一种大模型预训练的方法、装置、设备、存储介质及程序产品，包括：获取文本数据，并对文本数据进行分句，得到句子数据集；针对句子数据集中的每个句子，根据预定义的掩码规则进行掩码，得到至少一个掩码对；句子数据集中所有句子根据预定义的掩码规则掩码后得到的多个掩码对构成检测数据集；其将检测数据集输入检测模型，得到预训练掩码对；基于预训练掩码对，预训练第一大模型。本方案通过将根据预定义的掩码规则进行掩码得到的掩码对进行检测，得到符合充分非必要关系的预训练掩码对；将该具有逻辑关系的预训练掩码对训练大模型，以提高大模型的逻辑推理能力。