一种长上下文下的大模型芯片预填充阶段推理优化方法、系统及应用

本发明公开了一种长上下文下的大模型芯片预填充阶段推理优化方法，所述推理优化方法包括如下步骤：步骤一、对预填充阶段的输入数据和模型参数动态进行切片；步骤二、依次并行加载和计算QKV、self‑attention、attention_project、FFN模块，在所述attention_project和所述FFN模块的加载计算后进行残差连接处理；步骤三、完成整个推理计算。本发明还公开了实现上述推理优化方法的推理优化系统，及相应的应用，具有广泛应用场景。