推理系统、推理方法、推理装置、存储介质及程序产品

本发明公开了推理系统、推理方法、推理装置、存储介质及程序产品，该推理系统包括：大语言模型参数仓库，用于提供各种大语言模型对应的共享参数和微调参数的下载服务，共享参数和微调参数是基于LoRA大语言模型微调范式将对应大语言模型中的参数拆分为供多用户共享的预训练参数和针对用户需求对共享参数进行微调的参数；多个资源池，资源池包括多个推理节点，推理节点加载有共享参数和微调参数时作为执行节点；控制节点，用于从多个资源池中调度一个能执行推理请求对应推理任务的执行节点作为实际执行节点，将推理任务发送给实际执行节点，使实际执行节点根据推理任务中携带的输入数据实例化为大语言模型来执行推理任务。