摘要
本发明公开一种边缘硬件高能效混合浮点神经网络推理的加速方法和装置,所述方法包括:通过解析待处理DNN模型的结构,生成计算与传输负载的DAG矩阵;通过配置目标边缘平台混合精度流水浮点运算单元模板,生成可配置的硬件加速器电路,同时提取硬件特征参数,提供硬件部署建模的硬件参数;基于深度强化学习策略梯度算法进行硬件感知的联合优化;根据优化后的运算单元配置参数、缓存策略及数据流调度方案,生成面向能效延迟积、运算速度或功耗的多目标部署方案。本发明解决了现有技术中混合精度DNN部署存在的硬件资源利用低效、优化目标单一、人工调优依赖度高的技术问题,实现了在资源受限边缘平台上自动生成高能效复杂DNN部署方案的技术效果。
技术关键词
硬件加速器电路
神经网络推理
浮点运算单元
高能效
DNN模型
强化学习策略
梯度算法
浮点加法器
浮点乘法器
部署建模
生成深度神经网络
现场可编程逻辑门阵列
大容量存储介质
流水
面向能效
参数
深度强化学习
指数
平台
模板
系统为您推荐了相关专利信息
神经网络硬件
舍入误差
模拟器
应用程序编程接口
神经网络推理
判定方法
判定系统
Lyapunov指数
资源受限平台
后量子密码学
风格
智能对话方法
文本
大语言模型
支持用户自定义
值预测系统
风险传导模型
统计算法
大数据
数据采集模块