基于压缩权重的模型训练与推理方法、装置、设备及存储介质

本申请公开了一种基于压缩权重的模型训练与推理方法、装置、设备及存储介质，涉及模型训练与推理技术领域，公开了基于压缩权重的模型训练与推理方法，包括：获取预设模型的初始权重矩阵；根据初始权重矩阵得到初始权重矩阵块，并根据初始权重矩阵块得到初始权重；根据初始权重得到权重指数位和权重尾数位，并根据权重指数位得到尾数保留值；根据权重指数位、尾数保留值以及和权重尾数位对初始权重进行压缩，得到压缩权重；在检测到预设模型的前向传播或反向传播时，解压压缩权重，得到目标权重，并根据目标权重对预设模型进行训练和推理。通过将模型权重的指数位和尾数保留值对权重进行压缩和解压，能够在保持模型性能的同时减少内存占用。