一种面向大语言模型端侧部署的后量化方法及系统

本发明提供一种面向大语言模型端侧部署的后量化方法及系统，该方法包括：确定大语言模型的任一待量化的当前矩阵的输入通道对应的通道取值范围；根据通道取值范围，基于预设通道平滑算法进行通道平滑，并计算平滑后通道的量化参数；根据平滑后通道的量化参数进行通道量化，得到量化后的矩阵；量化后的矩阵用于在端侧设备进行部署，实现低成本、高效运行大语言模型。本发明能够实现大语言模型的高效压缩且适用于部署在端侧设备上，节省计算和通信开销，显著提高了量化过程的整体精度。