一种注意力迁移方法、数据处理方法和大语言模型

本发明实施例公开了一种注意力迁移方法、数据处理方法和大语言模型。通过获取预训练的教师模型和初始化的学生模型，所述初始化的学生模型包括第一注意力层、结构压缩层和多个第二注意力层，所述第一注意力层的参数与所述教师模型的第一层的注意力层的参数相同，所述第二注意力层的参数为初始化参数，获取训练样本和对应的标签信息，通过初始化的学生模型获取所述训练样本对应的预测信息，根据所述标签信息和所述预测信息对所述初始化参数进行优化以获取预训练的学生模型。由此，可以避免在注意力迁移过程中丢失信息，实现无损迁移，提升学生模型的性能。