一种推理装置、方法、介质及芯片

本申请公开一种推理装置、方法、介质及芯片，该装置用于大语言模型的推理运算，包括：内存模块、计算模块和控制模块；控制模块接收到处理指令，获取目标数量的序列存入内存模块，在任一序列处理完毕后，释放已处理完毕的序列及对应的推理结果所占用的存储空间和计算资源，从剩余序列中选取另一序列，存入已推理完毕的序列所释放的存储空间。本申请在对待处理文本进行推理时，当任一序列完成推理后，即可释放该序列对应的存储空间和计算资源，并存入新的序列进行推理，从而大幅提高的内存模块和计算模块的利用率，提高了大语言模型的推理效率。