一种用于长序列的模型推理方法和装置

本发明提供一种用于长序列的模型推理方法和装置，其中所述方法用于每个推理模块，包括：接收输入的长序列；将长序列分段为多个短序列，将多个短序列输入至状态空间网络层中，根据状态空间网络层的上一个状态向量序列，对输入的多个短序列进行并行推理，得到每个短序列对应的输出向量序列以及状态向量序列；将每个短序列对应的输出向量序列以及状态向量序列按顺序依次输入至子层中进行处理，得到推理模块输出的预测输出向量序列，从而实现通过状态空间网络层来维护状态向量序列，与传统的长序列处理方法需要保存每个词单元的历史状态信息相比，在保证长效记忆的同时提升大模型推理系统的计算与存储效率。