一种基于置换和缩放技术的大语言模型参数保护方法和装置

一种基于置换和缩放技术的大语言模型参数保护方法和装置，其主要分为初始化阶段和模型推理阶段：在初始化阶段中，生成模型转换的置换和缩放参数，并根据这些置换和缩放值对模型参数进行转换；在模型推理阶段中，对输入进行置换转换，按照正常transformer计算的方式基于转换后的输入根据初始化阶段生成的模型参数进行推理运算得到计算结果，然后将计算结果置换还原得到真实输出。该方法其完全兼容含有ROPE的注意力机制transformer结构，确保了与最新模型架构的适配性，还能在保护模型参数的同时确保与原始模型一致的准确性和几乎无损的高效性；在大语言模型安全部署、隐私保护计算、以及跨机构AI协作等领域具有广阔的应用前景。