用于大语言模型的LoRA权重管理方法及装置

本公开提供了一种用于大语言模型的LoRA权重管理方法及装置。该方法包括：大语言模型的推理系统获取LoRA权重数据，所述LoRA权重数据包括：低秩矩阵A和低秩矩阵B；确定所述LoRA权重数据的存储位置；按照所述存储位置将所述低秩矩阵A和所述低秩矩阵B分别以页为单位进行储存；记录LoRA权重数据和其对应储存页之间的映射关系；大语言模型的推理系统根据所述映射关系调用所述LoRA权重数据以进行推理计算。本申请涉及的用于大语言模型的LoRA权重管理方法及装置，通过分页存储和映射管理LoRA权重，能够提升显存利用率和计算效率，支持大规模模型灵活扩展，适配多硬件环境，优化推理性能。