摘要
本发明公开一种用于微控制器的低比特神经网络推理方法及系统,涉及人工智能技术领域,获取卷积神经网络权重数据和输入数据,并进行亚字节量化;在微控制器固件中调用推理计算库接口,将量化后的权重数据和输入数据传入推理计算库内部执行,具体为:将量化后的权重数据和输入数据分别输入至神经网络功能函数,调用神经网络辅助函数对其进行预处理,得到权重向量和输入向量;神经网络功能函数基于权重向量和输入向量调用计算指令进行并行卷积计算,得到卷积结果;调用神经网络辅助函数对卷积结果进行压缩,得到压缩后的卷积结果并输出。在保证模型精度基本不降低的前提下,有效提升推理执行效率并降低系统资源占用。
技术关键词
推理方法
微控制器
数据
卷积神经网络训练
神经网络推理
浮点除法
处理单元
固件
人工智能技术
处理器
指令
格式
计算机设备
可读存储介质
接口
文本
精度
存储器
程序
图像