摘要
本发明涉及基于TensorFlow的NPU模型优化方法、装置及存储介质,其中方法包括模型解析模块读取并提取TensorFlow模型的结构和参数;模型转换模块将TensorFlow模型转换为NPU支持的中间表示;通过算子融合、内存优化和量化,所述模型优化模块优化转换后的TensorFlow模型,将优化后的TensorFlow模型部署到NPU执行模块;性能监控模块监控TensorFlow模型在NPU上的运行性能,并输出性能数据。本发明提供高效的模型转换工具,快速将TensorFlow模型转换为NPU支持的格式,提高模型转换效率;充分利用NPU的低精度计算、并行计算等硬件特性,提升计算效率,通过算子融合、内存优化和量化等手段,减少转换时间和开发成本;减少开发者的手动操作,简化模型部署流程,降低部署难度;支持大规模模型部署,满足实际应用需求。
技术关键词
TensorFlow模型
模型优化方法
优化装置
性能监控
内存访问模式
自定义算子
子模块
精度
参数
可读存储介质
数据
动态
程序
指令
冗余
功耗
格式
计算机