一种基于自蒸馏的脉冲神经网络训练方法

AITNT
正文
推荐专利
一种基于自蒸馏的脉冲神经网络训练方法
申请号:CN202511165250
申请日期:2025-08-20
公开号:CN120975181A
公开日期:2025-11-18
类型:发明专利
摘要
本发明公开了一种基于自蒸馏的脉冲神经网络训练方法,该方法包括:对脉冲神经网络(SNN)的网络结构与LIF神经元参数进行初始化;将全部时间步的输出根据融合权重进行融合,得到全局软目标作为教师模型;将各时间步的输出结合历史输出根据融合权重进行融合,得到各个时间步的局部软目标作为学生模型;将全局软目标和局部软目标映射到共享特征空间,通过KL散度计算自蒸馏损失,再针对图像样本计算交叉熵损失,将两个损失整合计算得到总损失函数,通过反向传播更新SNN的网络参数,训练好的SNN用于图像分类任务。本发明能够改善现有的SNN训练方法的粗粒度时间步融合问题,有效提高了脉冲神经网络的训练精度。
技术关键词
神经网络训练方法 脉冲 蒸馏 教师 学生 图像 网络结构 参数 数据 标签 样本 序列 精度 通道
系统为您推荐了相关专利信息
1
一种基于Morlet小波神经网络和改进蝙蝠算法的充电机谐波检测方法
蝙蝠算法 谐波检测方法 小波神经网络 充电机 训练样本数据
2
一种时域可调的半导体激光器
可饱和吸收体 半导体激光芯片 半导体激光器结构 半导体激光器技术 光学增透膜
3
一种基于声学特征的人防工程暗管渗漏定位方法
脉冲压缩技术 时间反转镜 渗漏定位方法 声学特征 时分多址技术
4
基于大语言模型问答的运维管理方法、装置和电子设备
运维故障 大语言模型 问答知识库 答案 管理方法
5
基于动态矩阵控制的油气传输系统三相分离器控制方法、装置、介质及设备
三相分离器 动态矩阵控制 矫正模型 油气 气相
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号