预训练语言模型的部署方法、电子设备和可读存储介质

本申请公开了一种预训练语言模型的部署方法、电子设备和可读存储介质，涉及预训练语言模型技术领域。方法包括：确定待量化的初始预训练语言模型的初始权重矩阵和海森矩阵；初始权重矩阵用于表征初始预训练语言模型的模型信息拓扑，海森矩阵用于表征初始权重矩阵中的敏感权重；基于子采样随机哈达玛变换算法生成稀疏变换矩阵；通过稀疏变换矩阵对初始权重矩阵进行非相干处理，得到处理后的优化权重矩阵；基于优化权重矩阵和海森矩阵执行自适应舍入操作，得到量化后的量化权重矩阵；根据量化权重矩阵确定量化后的目标语言模型，并发送至待部署设备。本申请解决了部署预训练语言模型的效率低的问题，达到提高部署预训练语言模型的效率的技术效果。