一种面向大语言模型处理极长文本的推理运行加速方法

本发明公开了一种面向大语言模型处理极长文本的推理运行加速方法，属于大规模预训练语言模型推理优化技术领域，具体地：选取大语言模型并启用稀疏注意力模式，输入不同文本，记录不同层各注意力头执行时间和注意力模式类型，建立统计数据库；求解实际文本下大语言模型的多头注意力负载均衡分配策略；通过拆分权重矩阵，建立权重索引表；检索各注意力头对应的权重子矩阵，加载至对应GPU设备；通过异步预加载相邻层的MHA计算权重和MLP计算权重，结合KV缓存管理，实现推理过程的负载均衡。本发明通过在推理阶段进行注意力头的动态切分、重组和调度，有效避免多GPU负载不均衡和资源空转的问题，显著提升长序列处理的系统吞吐量。