基于量化模型的推理方法和模型量化方法

本申请公开了一种基于量化模型的推理方法，量化模型是基于经训练模型获得，量化模型的至少部分参数的精度小于经训练模型的参数精度，方法包括：获得输入任务数据；将输入任务数据输入至量化模型中，得到输出结果；量化模型包括多层神经元子模型，对于相邻层的第一子模型和第二子模型，第一子模型的输出激活值作为第二子模型的输入；在量化模型的特定相邻层的第二子模型包括融合权重矩阵参数的情况下，控制特定旋转矩阵作用于第一子模型的输出激活值获得经修改的激活值，经修改的激活值小于所述输出激活值，融合权重矩阵参数是特定旋转矩阵作用于与经训练模型对应的特定相邻层的第二子模型的第二初始权重参数获得的。