大语言模型的训练方法、推理方法、装置及设备

本申请提供一种大语言模型的训练方法、推理方法、装置及设备。涉及计算机技术领域。方法包括：获取训练文本，训练文本中包括未被标注的第一文本片段和被标注为分块文本的第二文本片段；将训练文本输入大语言模型中，通过大语言模型中的分块注意力机制模块对第二文本片段进行处理；通过大语言模型中的标准注意力机制模块对第一文本片段进行处理；基于大语言模型输出的第一文本片段的预测结果计算第一损失；基于大语言模型输出的第二文本片段的预测结果计算第二损失；根据第一损失和第二损失确定总损失；基于总损失对大语言模型的参数进行优化，获得训练好的大语言模型。本申请减少了内存读取次数，并且提高大语言模型推理的效率。