基于Transformer的大语言模型分布式协同推理方法及装置

本申请涉及一种基于Transformer的大语言模型分布式协同推理方法及装置。包括：响应于企业用户通过企业侧的推理网关提交的推理请求，为企业用户生成本次推理的标识信息，返回给推理网关；推理网关通过企业侧部署的大语言模型的输入嵌入层处理输入文本得到向量数据，基于标识信息对向量数据进行加密形成向量数据密文；对推理网关发送的向量数据密文进行解密，通过大语言模型的推理层对解密得到的向量数据明文进行推理，对推理结果进行加密得到推理结果密文，并发送给推理网关；推理网关对推理结果密文进行解密，将解密的推理结果通过大语言模型的输出嵌入层处理后输出。采用本方法能够提高企业用户进行推理任务时的数据安全性。