加速深度学习推理的系统和方法

本公开提供了一种用于减少人工智能（AI）系统推理延迟的系统和方法。在运行过程中，系统可以获取AI模型，并对AI模型进行编译，以生成至少一个有向无环图（DAG），包括确定与要从多个AI加速器共享的主存储器传输到辅助存储器的中间数据段相关联的偏移地址。AI加速器、主存储器和辅助存储器位于同一系统级芯片（SoC）上。然后，系统可以调度计算任务，包括确定辅助存储器中关联于DAG的基地址，并基于DAG执行推理，包括根据偏移地址和基地址将中间数据段从主存储器传输到辅助存储器。