一种面向嵌入式RTOS的内存动态自适应DNN推理方法及系统

本发明提供一种面向嵌入式RTOS的内存动态自适应DNN推理方法及系统，包括：在离线阶段，解析模型的计算图结构，识别特定算子序列并融合为新算子；预先计算各算子推理时所需的参数；对模型中所有张量矫正，去除冗余张量；根据各算子执行顺序，为每个张量分配内存，计算每个张量相对于内存块起始位置的偏移量；各算子选择内核后生成模型代码；在在线阶段，根据生成的模型代码，基于行部分加载机制，为各算子计算过程中产生的中间张量分配中间内存，使用轻量级算法，根据可用内存大小计算每个中间张量相对于中间内存块起始位置的偏移量，实现模型推理。本发明能够在极度受限且动态变化的内存资源条件下，自动调整深度神经网络推理任务的内存占用大小。