混合专家模型的存储优化方法、装置、设备、介质及产品

本发明公开了一种混合专家模型的存储优化方法、装置、设备、介质及产品。该方法包括：将目标混合专家模型加载至计算芯片中，并获取目标混合专家模型中的各项稀疏化的模型权重矩阵；稀疏化的模型权重矩阵包含多个设定尺寸的压缩单元，每个压缩单元包含至少一个有效行和至少一个稀疏行，每个有效行包含至少一个结构化稀疏计算存储单元；生成与每个模型权重矩阵分别对应的压缩矩阵集合；压缩矩阵集合中包含压缩数据矩阵、索引矩阵和元数据矩阵；将目标混合专家模型中各项稀疏化的模型权重矩阵，分别存储为匹配的压缩矩阵集合，以实现对目标混合专家模型的存储优化。本发明实施例的技术方案可以有效优化混合专家模型的存储资源开销。