摘要
本发明公开了一种基于自蒸馏的脉冲神经网络训练方法,该方法包括:对脉冲神经网络(SNN)的网络结构与LIF神经元参数进行初始化;将全部时间步的输出根据融合权重进行融合,得到全局软目标作为教师模型;将各时间步的输出结合历史输出根据融合权重进行融合,得到各个时间步的局部软目标作为学生模型;将全局软目标和局部软目标映射到共享特征空间,通过KL散度计算自蒸馏损失,再针对图像样本计算交叉熵损失,将两个损失整合计算得到总损失函数,通过反向传播更新SNN的网络参数,训练好的SNN用于图像分类任务。本发明能够改善现有的SNN训练方法的粗粒度时间步融合问题,有效提高了脉冲神经网络的训练精度。
技术关键词
神经网络训练方法
脉冲
蒸馏
教师
学生
图像
网络结构
参数
数据
标签
样本
序列
精度
通道
系统为您推荐了相关专利信息
蝙蝠算法
谐波检测方法
小波神经网络
充电机
训练样本数据
可饱和吸收体
半导体激光芯片
半导体激光器结构
半导体激光器技术
光学增透膜
脉冲压缩技术
时间反转镜
渗漏定位方法
声学特征
时分多址技术