大语言模型长文本外推方法、装置、电子设备及存储介质

本发明提供一种大语言模型长文本外推方法、装置、电子设备及存储介质，涉及自然语言处理技术领域，获取预设长度的待处理文本；若预设长度大于初始大语言模型的训练文本的序列长度，则基于预设长度以及初始大语言模型的滑动窗口注意力机制的初始窗口尺寸，对滑动窗口注意力机制的初始位置编码进行扩展，并对初始窗口尺寸进行扩展，得到目标大语言模型；最后基于目标大语言模型，对待处理文本进行处理。通过对滑动窗口注意力机制的初始窗口尺寸和初始位置编码同步扩展，使目标大语言模型具备处理更长文本的能力。进而，通过目标大语言模型对待处理文本进行处理，可以保证处理效果，降低推理成本，且处理效果不受待处理文本的预设长度的限制。