基于上下文位置编码和傅里叶变换的语言模型训练方法

本发明公开了基于上下文位置编码和傅里叶变换的语言模型训练方法，属于计算机自然语言处理技术领域，包括以下步骤：S1、预处理用户输入的文本数据；S2、将预处理后的文本信息进行上下文位置编码；S3、经上下文位置编码后，再对每个相对位置编码向量进行傅里叶变换；S4、经过傅里叶变换后的位置编码向量，进行模型预训练和指令微调，利用最小化损失函数，衡量预测结果与真实目标之间的差异；S5、最后完成模型张量分布式并行训练。本发明提高了模型训练过程中的准确率，且适用于长上下文场景，能够实现准确的文本生成。