一种适用于AI芯片的自动混合比特量化装置及方法

本发明公开了一种适用于AI芯片的自动混合比特量化装置及方法，所述方法包括：将深度学习浮点模型转换为onnx模型并进行图优化；将图优化后的onnx进行INT8量化，并输出量化后的onnx模型；根据量化系数，将onnx模型拆分为不同子图，相同量化系数的节点划分为同一子图；对每个算子，将其输入和该输入对应的上一层输出转换为高比特输入和输出，再对当前算子所在子图进行推理，对比修改前和修改后的差异值；对所有算子前后的差异值进行排序，同时根据预先设定的高比特算子个数K，选出精度提升最优的K个算子配置为高比特类型，并生成混合比特配置表；根据所选配置生成混合比特模型；其效果是：本发明能兼顾模型精度与性能。