大模型推理中对数据进行隐私保护的方法及装置

本申请提出一种大模型推理中对数据进行隐私保护的方法及装置，涉及计算机技术领域，该方法包括：将大模型拆分为密态域模型和明文域模型，把密态域模型放置到服务端的可信执行环境中进行隔离；隐私数据使用可信执行环境度量密态域模型生成的衍生密钥进行加密，即可传入可信执行环境；通过密态域模型和与密态域模型并联的随机混淆低秩矩阵对隐私数据进行推断，并将推断后的推断数据传输至明文域模型进行继续推断，得到目标推断数据；并基于客户端公钥UserPK和客户端私钥UserSK，将隐私数据的推断结果明文返回给客户端。由此，既借助服务端的中心化外包算力来实现大模型推理，又保护了隐私数据在推理过程中不泄露。