一种扩展大语言模型上下文窗口大小的方法

本发明公开了一种扩展大语言模型上下文窗口大小的方法，所述方法为通过分治增量搜索算法寻找旋转位置编码的最优缩放因子以扩展大语言模型的上下文窗口大小。本发明方案相较于人为指定缩放因子的方法不仅有更好的性能，更是降低了微调所需的资源，允许模型在短文本上微调，泛化到目标长文本上，大大节约成本。同时解决了目前大多数方法在短文本微调泛化到长文本上存在的问题，即目标长度性能损失严重。