用于大语言模型推理系统的LoRA权重融合方法及装置

本申请涉及一种用于大语言模型推理系统的LoRA权重融合方法及装置。该方法包括：大语言模型推理系统获取多个LoRA权重数据；确定多个LoRA权重数据对应的融合比例；基于所述融合比例将所述多个LoRA权重数据进行拼接处理或切分处理，生成LoRA融合权重；大语言模型的推理系统获取输入数据；基于所述输入数据调用所述LoRA融合权重进行推理计算。本申请涉及的用于大语言模型推理系统的LoRA权重融合方法及装置，适用于需要动态多风格融合的场景，能够提到显存利用率，满足大语言模型推理系统对灵活性和性能的双重需求。