混合精度权重的处理方法、装置、设备及计算机程序产品

本发明实施例提供了一种混合精度权重的处理方法、装置、设备及计算机程序产品。其中，混合精度权重的处理方法包括：获取激活矩阵以及与大语言模型相对应的权重矩阵，激活矩阵中包括多个激活值，权重矩阵中包括：多个未量化模型权重和多个不同精度的量化后模型权重，未量化模型权重的精度高于量化后模型权重的精度；对权重矩阵进行分组，获得与权重矩阵相对应的多个权重分块；确定各个权重分块所对应的反量化参数，其中，同一个权重分块中的多个量化后模型权重所对应的反量化参数相同；基于反量化参数对激活矩阵与多个权重分块进行乘法运算，获得运算处理结果。