一种大模型自回归Transformer并行化生成方法、装置及存储介质

本发明的一种大模型自回归Transformer并行化生成方法，包括以下步骤，将输入的长文本序列划分为多个固定长度的局部上下文窗口，采用滑动机制确保相邻窗口之间存在重叠部分，以维持语义连贯性；并行编码器构建与解码：采用滑动机制生成多个滑动窗口后，利用多GPU并行计算机制对各个窗口进行并行编码处理；在自回归解码维护历史状态缓存区，存储已生成的的部分结果和注意力键值对，避免重复计算；解码阶段引入跨窗口注意力机制使当前解码词能够关注多个滑动窗口中的上下文信息；任务调度与负载均衡控制：通过动态任务调度器将各窗口处理任务分配至不同计算单元，结合负载均衡算法优化资源利用率；并行生成与结果拼接输出：将各窗口生成的结果按顺序拼接整合。