一种基于符号计算的大型语言模型内存管理装置和方法

本发明公开了一种基于符号计算的大型语言模型内存管理装置和方法，该装置包括：模型解析模块，对已经训练好的深度学习模型进行解析，得出模型组成和结构，并以计算图的形式保存；计算图编译模块，对所述计算图编译得到指令序列模板，并计算模型在计算时所需的各个内存分区；根据所述计算图，将深度学习模型尺寸变量值确定为符号变量，并以该符号变量构造模型每一块内存空间大小的地址符号表达式；内存管理模块，基于模型的输入大小，对构造完成的地址符号表达式进行动态推理求解，并根据求解结果确定内存分配策略；将内存分配策略写入指令序列，得到运行时指令序列；其效果是：本发明能够提高内存资源的利用率，减少了模型的内存占用冗余。