大语言模型的内存管理方法及装置

本申请实施例提供了一种大语言模型的内存管理方法及装置，其中，该方法包括：获取输入词元，其中，输入词元是大语言模型处理的基本单元；通过大语言模型，对输入词元进行推理处理，得到第一长度的键值缓存，其中，第一长度的键值缓存是输入词元需删除的词元对应的键值缓存；在第一长度小于第二长度的情况下，设置目标内存管理块存储第一长度的键值缓存，其中，第二长度是目标内存管理块允许存储键值缓存的最大长度；在第一长度等于第二长度的情况下，设置目标内存管理块取消存储第一长度的键值缓存。通过本申请，解决了大语言模型的内存管理稳定性较低的问题，进而达到了提高大语言模型的内存管理稳定性的效果。