模型压缩方法以及相关装置

本发明实施例提供一种模型压缩方法以及相关装置，属于人工智能技术领域。该方法包括：利用训练数据进行模型训练获得第一深度学习模型，并获得第一深度学习模型的自注意力层对应的第一重要性评分；根据第一重要性评分对第一深度学习模型的自注意力层进行剪枝，获得第二深度学习模型；利用训练数据对第二深度学习模型进行重新训练，获得第三深度学习模型，并获得第三深度学习模型中的自注意力层对应的第二重要性评分；根据第二重要性评分对第三深度学习模型进行精度量化获得第四深度学习模型；利用第一深度学习模型对第四深度学习模型进行蒸馏处理，获得目标深度学习模型。通过逐层自适应量化和混合精度计算策略，提高计算效率，加速模型推理过程。