一种长上下文下的大模型芯片解码阶段推理优化方法、系统及应用

本发明公开了一种长上下文下的大模型芯片解码阶段推理优化方法，所述推理优化方法包括如下步骤：步骤一、对解码阶段的KV缓存数据和模型参数动态进行切片，用于静态随机存取存储器SRAM调用；步骤二、依次并行加载和计算QKV、self‑attention、attention_project、FFN模块；在所述attention_project和所述FFN模块的加载计算后进行残差连接处理；步骤三、完成整个推理计算。本发明还公开了实现上述推理优化方法的推理优化系统，及相应的应用，具有广泛应用场景。