离线大模型软量化方法、装置、电子设备、存储介质及程序产品

本发明提供了离线大模型软量化方法、装置、电子设备、存储介质及程序产品，涉及人工智能算法技术领域。本发明实施例在保留量化数据有效性的同时使量化输出结果与原始输出结果误差最小。本发明实施例中，对模型原始数据交替进行值域软化和数值量化，确保原始值软化到一个合适的范围后完成数据量化，保证了量化数据几乎全部包含了原始数据的有效信息。同时将模型节点输入与权重结合成为一个整体，不在分别独立量化节点输入和权重，通过交替软量化模型输入和权重，使最后量化输入与权重计算结果反量化后与节点原始数据计算结果误差最小，从而消除了分别量化输入、权重造成最后计算结果量化效果不佳的问题。