摘要
本申请提供一种深度神经网络训练加速方法及加速器,基于Winograd算法标准化深度神经网络中的卷积,以使卷积中非标准卷积转化为标准卷积;将卷积层中大于3×3的卷积核分解成多个子卷积核,以加速标准卷积;将卷积层替换为具有预定义卷积核参数的Winograd层,以便直接在Winograd域进行权重更新;采用交错梯度调度策略对Winograd层进行训练,并通过Winograd算法对Winograd层中的输入数据与卷积核进行卷积加速计算,以获得卷积结果;将卷积结果传输给内存模块作为后续网络层的输入,以实现对深度神经网络的调度与运行,解决深度神经网络中的计算资源和内存带宽限制训练效率提升的问题。
技术关键词
深度神经网络训练
Winograd算法
静态随机存取存储器
内存模块
动态随机存取存储器
加速器
矩阵
数据模块
策略
非标准
计算误差
参数
尺寸
周期
系统为您推荐了相关专利信息
神经网络加速器
带宽优化方法
数据处理器
动态随机存取存储器
序列控制器
加速系统
控制数据传输
人工智能硬件加速
同步动态随机存取存储器
高级可扩展接口
令牌
存储器保护单元
静态随机存取存储器
变换器
大语言模型
处理单元
人工智能芯片
掩码矩阵
处理器
跳跃策略