摘要
本发明公开了一种基于边缘端异构分布式设备的神经网络计算加速方法,包括:环境初始化;主设备将神经网络待计算数据进行划分并发送到从设备;边缘端异构分布式设备组内各设备控制自身加速器进行神经网络加速计算,边缘端异构分布式设备组包括主设备和从设备,加速器包括FPGA、NPU和/或DSP;从设备将加速计算结果发送至主设备。本发明可以将多块FPGA、NPU和DSP等不同架构的设备共同组成异构分布式设备组,协同加速神经网络计算,实现了边缘端异构分布式设备对神经网络计算加速,并灵活协调组内设备,从而提高边缘端神经网络加速系统的兼容性灵活性,并保证低延迟和高性能。
技术关键词
分布式设备
加速器
异构
设备组
神经网络模型
处理器
神经网络加速系统
通信模块
脚本
存储器
设备控制
FPGA芯片
分布式环境
退出系统
数据
控制通信
低延迟
乘法器
参数
矩阵