用于大语言模型推理的LoRA权重加载方法及装置

本公开提供了一种用于大语言模型推理的LoRA权重加载方法及装置。该方法包括：在大语言模型的推理请求中包含LoRA权重计算时，将所述推理请求添加到准备队列；在准备队列中，对N个推理请求进行预处理操作；在预处理操作过程中，将LoRA权重按照预设规则拷贝至CPU的连续缓存区；在预处理操作完成之后，将所述推理请求添加到等待队列；在推理请求被调度执行时，将所述推理请求对应的LoRA权重加载到大语言模型的GPU中以进行推理计算。本申请涉及的用于大语言模型推理的LoRA权重加载方法及装置，通过高效的权重定义方式以及批处理拷贝机制，实现了LoRA权重的高效加载，提高了大语言模型的推理效率。