摘要
本发明提供一种人工神经网络的动态稀疏化训练方法、装置、终端及介质。该方法包括:基于激活点聚集损失和区域中心分离损失构建神经网络的损失函数;其中,神经网络的每层设有多个激活区域;将输入特征映射到庞加莱圆盘模型表示的双曲空间,并基于损失函数,对神经网络进行稀疏化训练;基于激活点与区域中心的双曲相似度,将各个激活点归类到各个激活区域;基于聚类结构动态生成稀疏掩码,并将稀疏掩码加入神经网络的激活函数。本发明能够在保持或提升模型精度的同时,将推理FLOPs与显存占用降低70%以上,训练收敛时间缩短约25%,并借助层级友好的双曲表示显著增强模型可解释性,满足边缘终端对高效率、低功耗AI部署的需求。
技术关键词
人工神经网络
动态
聚类
可读存储介质
处理器
注意力
终端
训练装置
圆盘
模块
存储器
计算机
低功耗
高效率
层级
精度
系统为您推荐了相关专利信息
DMA通信方法
多分区
模型动态训练
通信系统
读写控制模块
拓扑关系生成方法
车道
轨迹线
车辆轨迹数据
聚类算法
发动机控制系统
状态估计方法
协方差矩阵
状态估计器
卡尔曼滤波
高斯混合模型
风险预测模型
计算机程序指令
地理位置信息
安检服务器