一种基于镜像周期延拓的大模型长文本外推方法及系统

本发明涉及一种基于镜像周期延拓的大模型长文本外推方法及系统，属于模型处理技术领域。步骤包括：（1）ROPE位置编码策略改造；使用PEPE‑mPSE策略更新原有的ROPE位置编码策略；（2）对Transformer架构模型使用长文本数据进行微调训练；（3）通过训练后的Transformer架构模型进行长文本推理。本发明采取一种非内插型的大模型长文本外推方法，通过将模型在预训练文本长度窗口内已学习的位置编码分布进行镜像周期延拓，扩展到模型预训练文本长度之外，大幅度提升模型的长文本外推效果，并且相比于主流外推方法，本发明方法在理论层面更加具备实现无限外推的可能。