摘要
本发明公开了一种模型压缩离群值消除方法,所述模型为含有Transformer结构的雷视融合目标检测跟踪模型。通过本发明提出的量化算法,能够有效地均衡权重的分布,进一步地压缩模型中的算子到int8/uint8的表示位宽下。这样既可以缩减模型的大小,降低端侧的内存暂用,同时,也可以在模型推理过程中,缓存中能够承载更多的数据量,降低模型权重加载的次数,在保证检出精度的情况下,实现性能加速的效果。
技术关键词
模型压缩
消除方法
量化误差
精度
低比特量化
因子
数据分布
点云
设备端
算法
平台
图像
内存
数值