摘要
本发明公开了一种多FPGA协同深度神经网络并行加速方法,其方法包括,获取主控FPGA单元和每个计算FPGA单元的资源量,以及待部署深度神经网络模型的各层参数;判断待部署深度神经网络模型的网络层在输出通道上完全展开计算任务所需要的计算资源量是否达到主控FPGA单元的资源量,若未达到,则将该网络层的计算任务映射到主控FPGA单元的计算引擎并执行;若达到并大于或等于,则将该网络层的计算任务按计算FPGA单元的数量进行拆分,并将拆分后的计算任务映射到每个计算FPGA单元的计算引擎并执行。本发明根据计算量与资源量确定的拆分策略,将模型网络层的通道进行分割,再将计算任务映射至各FPGA内的计算引擎,能够利用多FPGA带来的性能增益实现并行加速。
技术关键词
深度神经网络模型
并行加速方法
加速系统
动态随机存取存储器
主机
高速通信
参数
分块
调度器
多通道
协议
数据
策略
指令