一种模型压缩方法、装置、设备、存储介质及产品

本申请实施例公开了一种模型压缩方法、装置、设备、存储介质及产品。其中方法包括：获取待压缩模型包含的权重矩阵，权重矩阵是从待压缩模型包含的神经网络中的注意力层提取的，对权重矩阵进行特征分布调整，使得调整后的矩阵在目标矩阵区域中的特征稠密度高于权重矩阵在目标矩阵区域中的特征稠密度，对调整后的矩阵进行降维处理，得到压缩后的矩阵，基于压缩后的矩阵，生成待压缩模型对应的压缩模型。可见，通过对权重矩阵进行特征分布调整，可以使得特征在目标矩阵区域内的分布更加稠密，在非目标矩阵区域内的分布更加松散，进而减少模型在降维处理过程中的性能损失，实现模型的高质量压缩。